★
vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A high-throughput and memory-efficient inference and serving engine for LLMs
PaddlePaddle / FastDeploy
FastDeploy
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle
FastDeploy 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
目前累计 3.7k star、757 fork，主要语言为 Python，项目始于 2022 年，采用 Apache-2.0 许可。最近状态：近半年有提交。适合：做 AI 应用的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。PaddlePaddle/FastDeploy 是一个以 Python 为主的开源项目，目前累计 3.7k star、757 fork，近半年有提交。主要方向：ernie、ernie-45、ernie-45-vl、inference、大模型、llm-serving。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。README
正在加载…相关项目
★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
★
ray 是用 Python 编写的学习资料，用于系统学习与查阅，主打可伸缩。
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
★
litellm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快。
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load bala…
★
unsloth 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.
★
可自托管的 AI 聊天界面，支持 Ollama、OpenAI 兼容接口等多种后端。
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)