从 65,726 个高星开源项目里，
找到你要的下一个。

llama-cookbook 是用 Jupyter Notebook 编写的 AI 工具，用于人工智能方向的建模与推理。

Welcome to the Llama Cookbook! This is your go to guide for Building with Llama: Getting started with Inference, Fine-Tuning, RAG. We also show you …

LMCache 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快。

LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

OpenRLHF 是用 Python 编写的学习资料，用于系统学习与查阅，主打高性能、易用、可伸缩。

An Easy-to-use, Scalable and High-performance Agentic RL Framework based on Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

dynamo 是用 Rust 编写的 AI 工具，用于大模型与智能体应用开发，主打可伸缩。

A Datacenter Scale Distributed Inference Serving Framework

Mooncake 是用 C++ 编写的 AI 工具，用于大模型与智能体应用开发。

Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.

semantic-router 是用 Go 编写的 AI 工具，用于大模型与智能体应用开发。

An open, programmable decision layer for models and compute.

llama-swap 是用 Go 编写的 AI 工具，用于大模型与智能体应用开发。

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

sparrow 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Structured data extraction, instruction calling and agentic workflows with ML, LLM and Vision LLM

tiny-llm 是用 Python 编写的学习资料，用于系统学习与查阅，主打轻量。

learn LLM inference system on Apple Silicon for systems engineers: build a tiny vLLM + Qwen

FastDeploy 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle

ramalama 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费。

RamaLama is an open-source developer tool that simplifies the local serving of AI models from any source and facilitates their use for inference in …

vllm-ascend 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Community maintained hardware plugin for vLLM on Huawei Ascend

HyperQwen 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快、异步并发。

Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer …

vllm-metal 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Community maintained hardware plugin for vLLM on Apple Silicon

local-studio 是用 TypeScript 编写的 AI 工具，用于人工智能方向的建模与推理。

Control panel for VLLM, Sglang, llama.cpp, exllamav3

A simple and effective post training quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的后训练量化工具包

A simple and effective post training quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的后训练量化工具包

StartLux-Decision 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Open decision models from 0.8B to 27B: a calibrated probability for every option in one pass, and a short thought only when unsure. Engine for vLLM,…

AnyJev 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Turn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)

kubeai 是用 Go 编写的 AI 工具，用于大模型与智能体应用开发。

AI Inference Operator for Kubernetes. The easiest way to serve ML models in production. Supports VLMs, LLMs, embeddings, and speech-to-text.

GPTQModel 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。

LLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.

verl-omni 是用 Python 编写的学习资料，用于系统学习与查阅。

Multimodal RL training framework for diffusion & omni models

prometheus-eval 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Evaluate your LLM's response with Prometheus and GPT4 💯

EAGLE-4 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Official Inference Code of EAGLE-4

UniRL 是用 Python 编写的学习资料，用于系统学习与查阅。

UniRL is a Framework for Unified Multimodal Model Reinforcement Learning