★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
lightseekorg / tokenspeed
tokenspeed
TokenSpeed is a speed-of-light LLM inference engine.
tokenspeed 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
目前累计 2.2k star、325 fork，主要语言为 Python，项目始于 2026 年，采用 MIT 许可。最近状态：近一个月有提交。适合：做 AI 应用的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。lightseekorg/tokenspeed 是一个以 Python 为主的开源项目，目前累计 2.2k star、325 fork，近 30 天内有提交。主要方向：b200、b300、blackwell、deepseek、gb200、gb300。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。README
正在加载…相关项目
★
vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A high-throughput and memory-efficient inference and serving engine for LLMs
★
主流预训练模型库，NLP、视觉、多模态模型开箱即用，是 Hugging Face 生态的核心。
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both…
★
CowAgent 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打轻量、可扩展、开源免费。
Open-source personal AI assistant & Agent Harness. Plans tasks, runs tools and skills, self-evolves with memory and knowledge. Multi-agent, multi-mo…
★
LlamaFactory 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)
★
unsloth 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.