从 65,707 个高星开源项目里，
找到你要的下一个。

gpt4all 是用 C++ 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费。

GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.

ray 是用 Python 编写的学习资料，用于系统学习与查阅，主打可伸缩。

Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

本项目旨在分享大模型相关技术原理以及实战经验（大模型工程化、大模型应用落地）

litgpt 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理，主打高性能。

20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.

OpenLLM 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费。

Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.

openvino 是用 C++ 编写的 AI 工具，用于人工智能方向的建模与推理，主打开源免费。

OpenVINO™ is an open source toolkit for optimizing and deploying AI inference

mistral-inference 是用 Jupyter Notebook 编写的 AI 工具，用于大模型与智能体应用开发。

Official inference library for Mistral models

PowerInfer 是用 C++ 编写的 AI 工具，用于大模型与智能体应用开发。

High-speed Large Language Model Serving for Local Deployment

kimi-k3-in-c 是用 C 编写的 AI 工具，用于大模型与智能体应用开发。

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

BentoML 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

dynamo 是用 Rust 编写的 AI 工具，用于大模型与智能体应用开发，主打可伸缩。

A Datacenter Scale Distributed Inference Serving Framework

lmdeploy 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

plano 是用 Rust 编写的 AI 工具，用于大模型与智能体应用开发。

Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routing, observability, agent orchestration, and guardrails so you sta…

turbo-fieldfare 是用 Swift 编写的 AI 工具，用于大模型与智能体应用开发。

Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

flashinfer 是用 Cuda 编写的 AI 工具，用于大模型与智能体应用开发。

FlashInfer: Kernel Library for LLM Serving

《深入理解 AI Infra：量化分析与系统设计》（李博杰 著）开源书稿：从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

《深入理解 AI Infra：量化分析与系统设计》（李博杰 著）开源书稿：从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

cactus 是用 C++ 编写的移动端方案，用于移动应用开发。

Quantization, kernels, runtime and inference engine for mobiles, wearables, smart home and robots.

kserve 是用 Go 编写的 AI 工具，用于人工智能方向的建模与推理，主打可伸缩。

Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes

shimmy 是用 Rust 编写的 AI 工具，用于大模型与智能体应用开发。

⚡ Pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary.

lemonade 是用 C++ 编写的 AI 工具，用于大模型与智能体应用开发。

Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.…

gpustack 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

Awesome-LLM-Inference 是用 Python 编写的资源清单，按主题汇总同类优质资源。

📚A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉

superduper 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Superduper: End-to-end framework for building custom AI applications and agents.

RuVector 是用 Rust 编写的 AI 工具，用于人工智能方向的建模与推理，主打高性能、实时。

RuVector provides High Performance, Real-Time decisions and agent memory , Self-Learning Ai, Vector GNN DB built in Rust.