★
开源星图GITHUB / DISCOVERY
今日免费检索 3 次
jmaczan / tiny-vllm

tiny-vllm

Build your own high performance LLM inference engine in C++ and CUDA - a smaller version of vLLM

C++★ 1.2k⑂ 97Apache-2.0创建于 2026-02-09最近提交 2026-09-24
中文介绍 · 自动生成

tiny-vllm 是用 C++ 编写的 AI 工具,用于大模型与智能体应用开发,主打高性能。

目前累计 1.2k star、97 fork,主要语言为 C++,项目始于 2026 年,采用 Apache-2.0 许可。最近状态:近半年有提交。适合:做 AI 应用的开发者。

中文介绍优先采用本站人工维护条目;无维护条目时依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经项目方确认,不构成选型结论。
一句话解读

jmaczan/tiny-vllm 是一个以 C++ 为主的开源项目,目前累计 1.2k star、97 fork,近半年有提交。主要方向:人工智能、attention、batching、course、cpp、cuda。

依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经人工逐项核实。
人工智能attentionbatchingcoursecppcudahpcinference大模型llm-inferencepagedattentiontiny-vllm

README

正在加载…

相关项目

★

webview 是用 C++ 编写的前端库,用于构建 Web 页面与界面,主打轻量、跨平台。

Tiny cross-platform webview library for C/C++. Uses WebKit (GTK/Cocoa) and Edge WebView2 (Windows).

C++ ★ 14k⑂ 1.1k 8 个月前更新 MIT