zhudong.si中文EN
热词解读 · TOPIC

词元 Token 是什么?大模型的最小语言单位

关键词 词元 Token更新 2026-10-13
直接答案:

词元(Token)是大语言模型处理文本的最小单位:模型不直接读"字"或"词",而是先把输入切成一串 Token,再逐个预测下一个 Token。一句"你好,世界"可能被切成 4–6 个 Token;英文平均约 4 个字符对应 1 个 Token,中文约 1.5–2 个汉字对应 1 个 Token。上下文窗口(如 128K)、训练数据规模(如超 10 万亿 Token)、API 计费,数的都是 Token。但《ByteDance Seed 深度研究报告》提醒:假设模型每天处理更多 Token,并不能说明有更多新信息——Token 总量不等于智能,跨公司比较 Token 数尤其容易误导。

从文字到 Token:分词是怎么回事

大模型看到的不是汉字和字母,而是一串整数编号。分词(Tokenization)就是把文本切成 Token、再映射为编号的过程。主流方法是 BPE(字节对编码):从单个字符出发,不断把高频出现的相邻组合并成新 Token,最终形成一个几万到几十万规模的"词表"。

举个例子你就明白了:

文本 可能的切分 说明
"artificial" "art" + "ific" + "ial" 高频词根被保留为整体
"人工智能" "人工" + "智能" 常见中文词可能整体成 Token
"supercalifragilistic" 切成 5–6 个碎片 罕见词被拆得很碎
"123456" "123" + "456" 数字常被 3 位一组切分

这种切分带来两个直接后果。第一,同样一句话,中英文消耗的 Token 数不同:英文约 4 字符 1 Token,中文约 1.5–2 字 1 Token——中文用户用同样长度的上下文窗口,能装下的"意思"其实更多。第二,罕见词、拼写错误、生造词会被切得很碎,模型处理起来更吃力,这也是为什么大模型偶尔会在生僻字和复杂数字上"犯傻"。第三,分词是不可逆的有损压缩:一旦切分确定,模型就永远看不到原始的字符边界,这也是某些文字游戏(如"数一数有几个 r")难倒大模型的原因之一。

三个最常见的 Token 数字

搞懂 Token 后,新闻里的三个数字就好理解了:

上下文窗口:模型一次能"记住"多长的输入,单位是 Token。128K 上下文约等于 19 万汉字或一本 30 万字的英文书。但要注意,长上下文不等于有效利用——注意力机制的计算随序列长度平方增长,而且"大海捞针"测试表明,模型对超长输入中部信息的利用率会下降。

训练数据规模:Seed2.0 Pro 的官方训练数据摘要披露,预训练文本超过 10 万亿 Token、图像超过 10 亿张。这是目前公开披露中量级最大的训练数据之一。但报告强调,无法自动产生优质训练数据:流量包含大量冗余、弱反馈和商业目标,需要研究的是有效反馈产出,而非总 Token 数。

API 计费:几乎所有大模型 API 都按 Token 计费,输入和输出单价不同。写提示词时"惜字如金"省的是真金白银——这也是提示工程有经济价值的原因。

为什么 Token 数不等于智能

这是报告中最值得划线的观点。执行摘要明确指出:字节的应用与基础设施可以降低研究部署之间的摩擦,但无法自动产生优质训练数据。报告还列出了 Token 增长的三个"水分"来源:免费补贴(厂商烧钱送调用量)、长输出(模型越啰嗦 Token 越多)、重复请求(重试、轮询)。

更深层的原因是口径问题。长上下文、视频编码、内部应用、重复推理、价格补贴与模型路由都会改变调用量——没有统一口径,跨公司比较 Token 数尤其容易误导。A 公司宣布"日处理 10 万亿 Token"和 B 公司宣布"日处理 1 万亿",可能只差在一方把内部重试也算了进去。报告据此拒绝将网上流传的巨额日调用量写入监测基线。

报告还提出了一个成本视角:Agent 规模化之后,每个 Agent 不仅生成 Token,还运行测试、维护文件、操作浏览器、等待外部反馈——不宜用 Token 单价代替"单位验收任务成本"。真正的成本是推理、工具、环境、验证和运维的总和。

Token 与 Scaling 的关系:多就一定好吗

在 Scaling Law 的讨论里,Token 是"数据"这一维度的计量单位。Chinchilla 论文提出的经验法则是:给定算力预算,模型参数量和训练 Token 数应按比例增长,最优配比约 20 Token/参数。但这描述的是"给定预算下怎么分配",不是"Token 越多越好"。

报告的判断是:基础能力与环境学习可能互补,但不能因此认定每项资源都应无限扩张。大模型可能提高单位交互的收益,同时使每次交互更昂贵。选择需要比较质量—成本—时延—介入率,而不是看单一排行榜。换句话说,Token 是燃料,但引擎的效率、路况(数据质量)、驾驶技术(算法)同样决定能跑多远。

Token 与中文:分词器质量为何重要

对中文用户,分词器(Tokenizer)的质量直接影响体验和成本。一个好的中文分词器会把"的""是""人工智能"等高频词收进词表,各占 1 个 Token;质量差的分词器可能把常用词拆成单字,同样一句话消耗多 30% 的 Token——上下文窗口变相缩水,API 账单变相上涨。

这也是各家大模型厂商都要训练自己分词器的原因:词表是按训练数据的语言分布优化的。以中文为主的模型,其中文分词效率通常更高。评测一个模型对中文是否友好,除了看榜单分数,还可以看它处理同样中文文本时的 Token 消耗量——这是个很实在的指标。顺带一提,字节跳动 Seed 团队发起的 verl 等开源 RL 框架,以及 Seed2.0 Pro 超 10 万亿 Token 的训练数据披露,都说明头部实验室正在把"单位 Token 的有效产出"而非"Token 总量"作为优化目标。

常见问题

1 Token 等于几个汉字?

没有固定答案,取决于分词器。粗略估计:中文约 1.5–2 个汉字对应 1 Token,英文约 4 个字符对应 1 Token。常见中文词(如"的""是""人工智能") often 各占 1 个 Token,生僻字可能 1 字占 2–3 个 Token。想精确计算可以用各模型官方的 tokenizer 工具查看。

上下文窗口 128K 是什么意思?

指模型单次输入加输出最多能处理 128,000 个 Token,约合 19 万汉字。但要注意三点:超长输入的中部信息容易被"遗忘";注意力计算量随长度平方增长,成本很高;很多任务其实用不满这么长的窗口。

为什么中文用大模型更"划算"?

因为中文信息密度高:同样表达一个意思,中文用的 Token 数通常比英文少 30%–50%。按 Token 计费的 API,对中文用户天然更友好。不过这也意味着中文分词器的质量对体验影响更大。

Token 会消失吗?有没有替代方案?

短期内不会。Token 是 Transformer 架构的基本输入单位,整个生态(训练、推理、计费)都围绕它建立。研究方向上有字节级模型、感知器式分词等探索,试图减少分词带来的信息损失,但都还在早期阶段。

想深入了解?

想深入理解 Token 背后的 Scaling 与数据问题,推荐阅读《ByteDance Seed 深度研究报告》。报告用十六章系统讨论了 AI for AI、环境学习与系统智能:Seed2.0 Pro 十万亿 Token 训练数据的披露分析、"有效反馈产出而非总 Token 数"的方法论、Scaling 分化的十种类型,以及为什么跨公司 Token 数比较会误导——帮你建立对大模型"燃料"问题的完整判断框架。

阅读 《ByteDance Seed 深度研究报告》 全文