★
vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A high-throughput and memory-efficient inference and serving engine for LLMs
alibaba / rtp-llm
rtp-llm
RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.
rtp-llm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
目前累计 1.4k star、284 fork，主要语言为 Python，项目始于 2023 年，采用 Apache-2.0 许可。最近状态：近一个月有提交。适合：做 AI 应用的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。alibaba/rtp-llm 是一个以 Python 为主的开源项目，目前累计 1.4k star、284 fork，近 30 天内有提交。主要方向：gpt、inference、llama、大模型、llm-serving、llmops。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。README
正在加载…相关项目
★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
★
AstrBot 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
AI Agent Assistant & development framework that integrates lots of IM platforms, LLMs, plugins and AI feature, and can be your openclaw alternative. ✨
★
LlamaFactory 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)
★
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat …
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), …
★
ChatTTS 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A generative speech model for daily dialogue.