下载

Skill UI

浏览并发现 9183+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索 Unigram ，共找到 2 条记录

默认排序最新上传最多下载

HuggingFace 高速分词器

huggingface-tokenizers

Orchestra-Research/AI-Research-SKILLs

以 Rust 性能和 Python 易用性为基础的高速分词工具，支持 BPE/WordPiece/Unigram 算法、自定义词表训练、位置对齐、批量填充，适用于生产级 NLP 流水线。

SentencePiece 分词库

Orchestra-Research/AI-Research-SKILLs

SentencePiece 提供语言无关的 BPE/Unigram 子词分词器，可直接从原始 Unicode 文本训练，适合多语言、中日韩和需复现词表的 NLP 流水线，部署轻巧速度快。

1

语言