★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
FlashML-org / FreeToken
FreeToken
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.
FreeToken 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快。
目前累计 1.4 万 star、1.4k fork，主要语言为 Python，项目始于 2026 年，采用 Apache-2.0 许可。最近状态：近一个月有提交。适合：做 AI 应用的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。FlashML-org/FreeToken 是一个以 Python 为主的开源项目，目前累计 14k star、1.4k fork，近 30 天内有提交。主要方向：deepseek-v4、edge、glm、inference、minimax、moe。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。README
正在加载…相关项目
★
ColossalAI 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理，主打速度快。
Making large AI models cheaper, faster and more accessible
★
DeepSpeed 是用 Python 编写的学习资料，用于系统学习与查阅，主打易用、可伸缩。
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
★
yolov5 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。
Ultralytics YOLOv5 in PyTorch for object detection, instance segmentation, classification, training, and export.
★
annotated_deep_learning_paper_implementations 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit,…
★
vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A high-throughput and memory-efficient inference and serving engine for LLMs