开源星图GITHUB / DISCOVERY
今日免费检索 3 次
intel / neural-compressor

neural-compressor

SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime

Python★ 2.7k⑂ 329Apache-2.0创建于 2020-07-21最近提交 2026-10-13
中文介绍 · 自动生成

neural-compressor 是用 Python 编写的 AI 模型,提供可直接使用的模型与权重。

目前累计 2.7k star、329 fork,主要语言为 Python,项目始于 2020 年,采用 Apache-2.0 许可。最近状态:近一个月有提交。适合:正在做技术选型的开发者。

中文介绍优先采用本站人工维护条目;无维护条目时依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经项目方确认,不构成选型结论。
一句话解读

intel/neural-compressor 是一个以 Python 为主的开源项目,目前累计 2.7k star、329 fork,近 30 天内有提交。主要方向:auto-tuning、awq、fp4、gptq、int4、int8。

依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经人工逐项核实。
auto-tuningawqfp4gptqint4int8knowledge-distillationlarge-language-modelslow-precisionmxformatpost-training-quantizationpruning

README

正在加载…

相关项目

★

为GPT/GLM等LLM大语言模型提供实用化交互接口,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮&函数插件,支持Python和C++等项目剖析&自译解功能,PDF/LaTex论文翻译&总结功能,支持并行问询多种LL…

为GPT/GLM等LLM大语言模型提供实用化交互接口,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮&函数插件,支持Python和C++等项目剖析&自译解功能,PDF/LaTex论文翻译&总结功能,支持并行问询多种LLM模型,支持chatglm3等本地模型。接入通义千问, de…

Python ★ 71k⑂ 8.3k 9 个月前更新 GPL-3.0