★
gpt4free 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打功能完整。
The official gpt4free repository | various collection of powerful language models | opus 4.6 gpt 5.3 kimi 2.5 deepseek v3.2 gemini 3
xlite-dev / Awesome-LLM-Inference
Awesome-LLM-Inference
📚A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉
Awesome-LLM-Inference 是用 Python 编写的资源清单，按主题汇总同类优质资源。
目前累计 5.5k star、437 fork，主要语言为 Python，项目始于 2023 年，采用 GPL-3.0 许可。最近状态：近半年有提交。适合：正在选型、找方案的人。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。xlite-dev/Awesome-LLM-Inference 是一个以 Python 为主的开源项目，目前累计 5.5k star、437 fork，近半年有提交。主要方向：awesome-llm、deepseek、deepseek-r1、deepseek-v3、flash-attention、flash-attention-3。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。awesome-llmdeepseekdeepseek-r1deepseek-v3flash-attentionflash-attention-3flash-mlallm-inferenceminimax-01mlapaged-attentionqwen3
README
正在加载…相关项目
★
vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A high-throughput and memory-efficient inference and serving engine for LLMs
★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
★
ray 是用 Python 编写的学习资料，用于系统学习与查阅，主打可伸缩。
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
★
CowAgent 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打轻量、可扩展、开源免费。
Open-source personal AI assistant & Agent Harness. Plans tasks, runs tools and skills, self-evolves with memory and knowledge. Multi-agent, multi-mo…
★
LlamaFactory 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)