从 65,705 个高星开源项目里，
找到你要的下一个。

vllm 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

A high-throughput and memory-efficient inference and serving engine for LLMs

yolov5 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。

Ultralytics YOLOv5 in PyTorch for object detection, instance segmentation, classification, training, and export.

whisper.cpp 是用 C++ 编写的 AI 工具，用于大模型与智能体应用开发。

Port of OpenAI's Whisper model in C/C++

DeepSpeed 是用 Python 编写的学习资料，用于系统学习与查阅，主打易用、可伸缩。

DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

ColossalAI 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理，主打速度快。

Making large AI models cheaper, faster and more accessible

sglang 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打高性能。

SGLang is a high-performance serving framework for large language models and multimodal models.

mediapipe 是用 C++ 编写的 AI 工具，用于人工智能方向的建模与推理，主打可扩展、跨平台。

Cross-platform, customizable ML solutions for live and streaming media.

faster-whisper 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快。

Faster Whisper transcription with CTranslate2

ncnn 是用 C++ 编写的 AI 工具，用于人工智能方向的建模与推理，主打高性能。

ncnn is a high-performance neural network inference framework optimized for the mobile platform

ml-engineering 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。

Machine Learning Engineering Open Book

nano-vllm 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。

Nano vLLM

ts-pattern 是用 TypeScript 编写的 AI 工具，用于大模型与智能体应用开发。

🎨 The exhaustive Pattern Matching library for TypeScript, with smart type inference.

FreeToken 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

TensorRT 是用 C++ 编写的学习资料，用于系统学习与查阅，主打高性能、开源免费。

NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of Tens…

LMCache 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打速度快。

LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

server 是用 Python 编写的学习资料，用于系统学习与查阅。

The Triton Inference Server provides an optimized cloud and edge inferencing solution.

openvino 是用 C++ 编写的 AI 工具，用于人工智能方向的建模与推理，主打开源免费。

OpenVINO™ is an open source toolkit for optimizing and deploying AI inference

amazon-sagemaker-examples 是用 Jupyter Notebook 编写的学习资料，用于系统学习与查阅。

Example 📓 Jupyter notebooks that demonstrate how to build, train, and deploy machine learning models using 🧠 Amazon SageMaker.

text-generation-inference 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理。

Large Language Model Text Generation Inference

yolov3 是用 Python 编写的 AI 工具，用于人工智能方向的建模与推理，主打轻量、实时。

PyTorch implementation of YOLOv3, YOLOv3-SPP, and YOLOv3-tiny for real-time object detection with training, validation, inference, and multi-format …

runanywhere-sdks 是用 C++ 编写的移动端方案，用于移动应用开发，主打适合生产环境。

Production ready toolkit to run AI locally

inference 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费、适合生产环境。

Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or you…

oumi 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。

Easily fine-tune (SFT/RL), evaluate, and deploy Qwen, Gemma, or any open agentic LLM/VLM!

jetson-inference 是用 C++ 编写的 AI 工具，用于人工智能方向的建模与推理。

Hello AI World guide to deploying deep-learning inference networks and deep vision primitives with TensorRT and NVIDIA Jetson.