★
SageAttention 是用 Cuda 编写的 AI 工具，用于大模型与智能体应用开发。
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention achieves speedup of 2-5x compared to FlashAttention, without losing end-to-end metri…
thu-ml / SpargeAttn
SpargeAttn
[ICML2025] SpargeAttention: A training-free sparse attention that accelerates any model inference.
SpargeAttn 是用 Cuda 编写的 AI 工具，用于大模型与智能体应用开发，主打开源免费。
目前累计 1.3k star、110 fork，主要语言为 Cuda，项目始于 2025 年，采用 Apache-2.0 许可。最近状态：已有一段时间未更新。适合：做 AI 应用的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。thu-ml/SpargeAttn 是一个以 Cuda 为主的开源项目，目前累计 1.3k star、110 fork，一年以上有维护。主要方向：ai-infra、attention、inference-acceleration、大模型、mlsys、quantization。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。ai-infraattentioninference-acceleration大模型mlsysquantizationsageattentionsparse-attentionvideo-generationvision-transformervit
README
正在加载…相关项目
★
raft 是用 Cuda 编写的学习资料，用于系统学习与查阅，主打高性能。
RAFT contains fundamental widely-used algorithms and primitives for machine learning and information retrieval. The algorithms are CUDA-accelerated …
★
project-maya 是用 Cuda 编写的 AI 工具，用于大模型与智能体应用开发。
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), fro…
★
how-to-optim-algorithm-in-cuda 是用 Cuda 编写的 AI 工具，用于大模型与智能体应用开发。
how to optimize some algorithm in cuda.
★
Learn-CUDA-Programming 是用 Cuda 编写的学习资料，用于系统学习与查阅。
Learn CUDA Programming, published by Packt
★
FlashKDA 是用 Cuda 编写的系统软件，属于操作系统或底层系统软件，主打高性能。
FlashKDA: high-performance Kimi Delta Attention kernels