从 65,722 个高星开源项目里，
找到你要的下一个。

vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

A high-throughput and memory-efficient inference and serving engine for LLMs

ray 是用 Python 编写的学习资料，用于系统学习与查阅，主打可伸缩。

Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

TensorRT-LLM 是用 Python 编写的 AI 模型，提供可直接使用的模型与权重，主打高性能、易用。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to per…

OpenLLM 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费。

Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.

skypilot 是用 Python 编写的学习资料，用于系统学习与查阅，主打速度快。

The AI Compute Platform for frontier teams. SkyPilot turns fragmented AI compute into one AI supercomputer, so frontier AI teams build custom intell…

BentoML 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

《深入理解 AI Infra：量化分析与系统设计》（李博杰 著）开源书稿：从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

《深入理解 AI Infra：量化分析与系统设计》（李博杰 著）开源书稿：从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

gpustack 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

superduper 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Superduper: End-to-end framework for building custom AI applications and agents.

lorax 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs

FastDeploy 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

chitu 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。

High-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.

vllm-ascend 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Community maintained hardware plugin for vLLM on Huawei Ascend

MoBA 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

MoBA: Mixture of Block Attention for Long-Context LLMs

aici 是用 Rust 编写的 AI 工具，用于大模型与智能体应用开发。

AICI: Prompts as (Wasm) Programs

Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

kvcached 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond

parallax 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打可伸缩。

Parallax is a distributed model serving framework that lets you build your own AI cluster anywhere

rtp-llm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。

RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.

ray-llm 是一个 AI 工具，用于大模型与智能体应用开发。

RayLLM - LLMs on Ray (Archived). Read README for more info.