下载

Skill UI

浏览并发现 5145+ 精选技能

全部编程开发人工智能设计创意产品商业数据科学市场营销职场通用效率工具硬件工程语言学习

搜索分词，共找到 2 条记录

默认排序最新上传最多下载

快速NLP分词器

huggingface-tokenizers

Orchestra-Research/AI-Research-SKILLs

HuggingFace Tokenizers 以 Rust 性能提供高速分词，可训练多种算法，支持对齐、填充及与 transformers 的无缝集成，适配大规模生产环境。

SentencePiece 语言无关分词

Orchestra-Research/AI-Research-SKILLs

SentencePiece 是一个针对原始 Unicode 文本训练的轻量级子词分词器，具备确定性词表，适合多语言/中日韩场景且无需语言定制化处理。

1

语言