★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
NVIDIA / TensorRT-LLM
TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
TensorRT-LLM 是用 Python 编写的 AI 模型，提供可直接使用的模型与权重，主打高性能、易用。
目前累计 1.5 万 star、2.8k fork，主要语言为 Python，项目始于 2023 年，采用 NOASSERTION 许可。最近状态：近一个月有提交。适合：正在做技术选型的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。NVIDIA/TensorRT-LLM 是一个以 Python 为主的开源项目，目前累计 15k star、2.8k fork，近 30 天内有提交。主要方向：blackwell、cuda、llm-serving、moe、pytorch。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。README
正在加载…相关项目
★
vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A high-throughput and memory-efficient inference and serving engine for LLMs
★
VoxCPM 是用 Python 编写的学习资料，用于系统学习与查阅，主打开源免费。
VoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning
★
DeepSpeed 是用 Python 编写的学习资料，用于系统学习与查阅，主打易用、可伸缩。
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
★
ray 是用 Python 编写的学习资料，用于系统学习与查阅，主打可伸缩。
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
★
TTS 是用 Python 编写的学习资料，用于系统学习与查阅，主打适合生产环境。
🐸💬 - a deep learning toolkit for Text-to-Speech, battle-tested in research and production