★
sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。
SGLang is a high-performance serving framework for large language models and multimodal models.
IST-DASLab / marlin
marlin
FP16xINT4 LLM inference kernel that can achieve near-ideal ~4x speedups up to medium batchsizes of 16-32 tokens.
marlin 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
目前累计 1.2k star、95 fork，主要语言为 Python，项目始于 2024 年，采用 Apache-2.0 许可。最近状态：已有一段时间未更新。适合：做 AI 应用的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。IST-DASLab/marlin 是一个以 Python 为主的开源项目，目前累计 1.2k star、95 fork，较长时间未更新。主要方向：4bit、kernel、大模型、quantization。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。README
正在加载…相关项目
★
langextract 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.
★
ChatTTS 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A generative speech model for daily dialogue.
★
PageIndex 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
📑 PageIndex: Document Index for Vectorless, Reasoning-based RAG
★
LightRAG 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快、易用。
[EMNLP2025] LightRAG: Simple and Fast Retrieval-Augmented Generation
★
ray 是用 Python 编写的学习资料，用于系统学习与查阅，主打可伸缩。
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.