★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
syv-ai / HyperQwen
HyperQwen
Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer quotes the prompt), ~1,035 tok/s at 64 concurrent, 150k-262k context. vLLM patches, requant pipeline, benchmarks.
HyperQwen 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快、异步并发。
目前累计 2k star、275 fork，主要语言为 Python，项目始于 2026 年，采用 Apache-2.0 许可。最近状态：近一个月有提交。适合：做 AI 应用的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。syv-ai/HyperQwen 是一个以 Python 为主的开源项目，目前累计 2k star、275 fork，近 30 天内有提交。主要方向：consumer-gpu、cuda、inference-optimization、kv-cache、llm-inference、local-llm。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。consumer-gpucudainference-optimizationkv-cachellm-inferencelocal-llmquantizationqwenqwen3rtx-3090speculative-decodingvllm
README
正在加载…相关项目
★
ray 是用 Python 编写的学习资料，用于系统学习与查阅，主打可伸缩。
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
★
nanobot 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打轻量、支持自托管、开源免费。
Ultra-lightweight, open-source, self-hosted personal AI agent framework in Python with WebUI, tools, memory, MCP, multi-agent workflows, automation,…
★
voicebox 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理，主打开源免费。
The open-source AI voice studio. Clone, dictate, create.
★
VoiceStudio 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理，主打开源免费。
VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audioboo…
★
vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A high-throughput and memory-efficient inference and serving engine for LLMs