开源星图GITHUB / DISCOVERY
今日免费检索 3 次
huggingface / tokenizers

tokenizers

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

Rust★ 11k⑂ 1.2kApache-2.0创建于 2019-11-01最近提交 2026-10-14
中文介绍 · 自动生成

tokenizers 是用 Rust 编写的 AI 工具,用于人工智能方向的建模与推理,主打速度快。

目前累计 1.1 万 star、1.2k fork,主要语言为 Rust,项目始于 2019 年,采用 Apache-2.0 许可。最近状态:近一个月有提交。适合:做 AI 应用的开发者。

中文介绍优先采用本站人工维护条目;无维护条目时依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经项目方确认,不构成选型结论。
一句话解读

huggingface/tokenizers 是一个以 Rust 为主的开源项目,目前累计 11k star、1.2k fork,近 30 天内有提交。主要方向:bert、gpt、language-model、natural-language-processing、natural-language-understanding、自然语言处理。

依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经人工逐项核实。
bertgptlanguage-modelnatural-language-processingnatural-language-understanding自然语言处理transformers

README

正在加载…

相关项目