从 65,707 个高星开源项目里，
找到你要的下一个。

llmfit 是用 Rust 编写的 AI 工具，用于大模型与智能体应用开发。

Hundreds of models & providers. One command to find what runs on your hardware.

llamafile 是用 C++ 编写的 AI 工具，用于大模型与智能体应用开发。

Distribute and run LLMs with a single file.

Soup 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

shimmy 是用 Rust 编写的 AI 工具，用于大模型与智能体应用开发。

⚡ Pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary.

atomic-agent 是用 TypeScript 编写的 AI 工具，用于大模型与智能体应用开发。

Atomic Agent is a local-first AI agent. Runs open-weight models on your own machine via llama.cpp.

OGAM 是用 TypeScript 编写的移动端方案，用于移动应用开发，主打适合生产环境。

The Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable D…

cortex.cpp 是用 C++ 编写的 AI 工具，用于大模型训练与推理。

Local AI API Platform

maid 是用 TypeScript 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费。

Maid is a free and open source application for interfacing with llama.cpp models locally, and with Anthropic, DeepSeek, Ollama, Mistral and OpenAI m…

动手学Ollama，CPU玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollama/

动手学Ollama，CPU玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollama/

comfyui_LLM_party 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

LLM Agent Framework in ComfyUI includes MCP sever, Omost,GPT-sovits, ChatTTS,GOT-OCR2.0, and FLUX prompt nodes,access to Feishu,discord,and adapts t…

node-llama-cpp 是用 TypeScript 编写的 AI 工具，用于人工智能方向的建模与推理。

Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a JSON schema on the model output on the generation level

transcribe.cpp 是用 C++ 编写的 AI 工具，用于大模型训练与推理。

ggml speech-to-text inference for 16+ model families

mlx-serve 是用 Zig 编写的 AI 工具，用于大模型与智能体应用开发。

Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music,…

gollama 是用 Go 编写的 AI 工具，用于大模型与智能体应用开发。

Go manage your Ollama models

Atomic-Chat 是用 TypeScript 编写的 AI 工具，用于大模型与智能体应用开发。

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://disco…

A simple and effective post training quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的后训练量化工具包

A simple and effective post training quantization toolkit for high-accuracy low-bit LLM inference|简洁且高效的后训练量化工具包

StartLux-Decision 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Open decision models from 0.8B to 27B: a calibrated probability for every option in one pass, and a short thought only when unsure. Engine for vLLM,…

Fun-ASR 是用 C 编写的多媒体工具，用于处理音视频内容。

Fun-ASR speech recognition models, with native Hugging Face Transformers support for Fun-ASR-Nano and separate FunASR, vLLM and llama.cpp deployment…

nobodywho 是用 Rust 编写的游戏开发项目，用于游戏与引擎开发。

NobodyWho is an inference engine that lets you run LLMs locally and efficiently on any device.

OuteTTS 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。

Interface for OuteTTS models.

kitops 是用 Go 编写的运维工具，用于部署、编排与监控，主打开源免费。

An open source DevOps tool from the CNCF for packaging and versioning AI/ML models, datasets, code, and configuration into an OCI Artifact.

jev 是用 C++ 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费。

jevos: an open-source alternative to Jev and Microsoft-Decision-1. Yes/no decisions, choices and scores with probabilities, on your laptop's CPU.

无需 ROOT 的开源 Android 屏幕实时翻译工具，适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读（TTS），译文可直接显示在画面上。Open-source no-root Android …

无需 ROOT 的开源 Android 屏幕实时翻译工具，适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读（TTS），译文可直接显示在画面上。Open-source no-root Android real-time screen translator fo…