下载

Skill UI

浏览并发现 9746+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索高速分词，共找到 1 条记录

默认排序最新上传最多下载

HuggingFace 高速分词器

huggingface-tokenizers

Orchestra-Research/AI-Research-SKILLs

以 Rust 性能和 Python 易用性为基础的高速分词工具，支持 BPE/WordPiece/Unigram 算法、自定义词表训练、位置对齐、批量填充，适用于生产级 NLP 流水线。

1

语言