开源星图GITHUB / DISCOVERY
今日免费检索 3 次
ztxz16 / fastllm

fastllm

fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模型和混合模式推理MOE模型,任意10G以上显卡即可推理满血DeepSeek。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型,单并发20tps;INT4量化模型单并发30tps,多并发可达60+。

C++★ 5.1k⑂ 504Apache-2.0创建于 2023-05-13最近提交 2026-10-14
中文介绍 · 仓库原文

fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模型和混合模式推理MOE模型,任意10G以上显卡即可推理满血DeepSeek。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型,单并发20…

目前累计 5.1k star、504 fork,主要语言为 C++,项目始于 2023 年,采用 Apache-2.0 许可。最近状态:近一个月有提交。适合:做 AI 应用的开发者。

中文介绍优先采用本站人工维护条目;无维护条目时依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经项目方确认,不构成选型结论。
一句话解读

ztxz16/fastllm 是一个以 C++ 为主的开源项目,目前累计 5.1k star、504 fork,近 30 天内有提交。项目未标注主题标签。

依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经人工逐项核实。
无主题标签

README

正在加载…

相关项目