🔤 LLM Tokenizer
在浏览器中计算和可视化文本 Token，支持多种模型
⚠ 网页版为 JS 简化实现（仅内置通用 pre_tokenizer），可能与 Python 端结果略有差异
DeepSeek-V4
NLLB-200
📁 加载自定义 Tokenizer
就绪
🗑️ 清空
💡 举个例子
📋 粘贴
词数量 (Tokens)
0
字符数量 (Characters)
0
Token/字符比
-
TEXT
TOKEN IDS
输入文本开始分词