Meta新研究：字节模型蒸馏后，天花板破了

Token词元并非字节的替代品，但这不意味着所有大模型都必须依赖Token。

字节模型，尤其是经过蒸馏处理后，展现了一些新特性。

最近，Meta FAIR和华盛顿大学联合发表了一篇论文《突破Token天花板：蒸馏出更小、更强的字节模型》，提出一个引人思考的观点——

在蒸馏过程中，能否将学习单位从词元（Token）切换为字节，让学生模型直接基于字节级别的概率分布进行学习？

实验结果表明，这是可行的。

研究团队为每个Token添加了结束标记，将教师的Token概率分布完整映射到字节级别。在以Llama 3-8B作为教师的蒸馏实验中，团队依据缩放定律预测：

随着训练计算量的增加，字节级蒸馏将超越Token级蒸馏，下游平均准确率上限高出4个百分点。

传统蒸馏让学生学习教师在庞大Token词表上的概率分布。相比之下，字节只有256种基础取值，单个位置的预测空间更小，且基础取值不随分词器变化。

换句话说，学习的基本单位变得更小，但模型最终能达到的能力上限却更高了。

这是如何实现的？

字节级蒸馏

时至今日，蒸馏技术已不陌生。众所周知，大型模型能力更强，但在实际部署中，显存、计算和响应速度都是成本考量因素。

因此，常见做法是让大模型充当教师，将能力蒸馏给更小的学生模型。

与普通监督训练仅告知模型“下一个正确Token是什么”不同，蒸馏还要求学生模型学习教师对各个候选Token的概率判断。

但问题在于，Token的候选空间过于庞大。以Llama 3-8B为例，其词表包含128256个Token，这意味着每个预测位置都对应十几万个候选概率。

如果进行离线蒸馏，保存完整概率分布会导致存储成本极高。因此，实际操作中通常只保留概率最高的部分，即top-k截断。

而字节模型恰好将候选空间大幅压缩。

一个字节由8个比特组成，共有256种可能的取值。即使加上少量特殊符号，每个位置需保存的概率也仅有两百多个，完整分布自然更容易保留。

然而，教师预测的是整个Token，学生预测的是单个字节。要使两者匹配，仅拆分文本不足，还需将教师的概率分布一同转换。

这正是论文首先解决的核心问题。

具体而言，团队提出了两种方案，分别称为Marginalize-It和End-Of-Token。

两者的基本思路一致：将教师对不同Token的概率，逐步分解到对应的字节位置上。

以论文中的Tiramisu为例，它可能被tokenizer切成T、iram、isu几个Token。

假设教师在预测下一个Token时，候选里同时有isu、isk和is。

这三个候选都以字节i开头，那么预测第一个字节时，可将所有以i开头的候选概率相加。

当真实前缀变为i后，仅保留前缀匹配的候选，继续计算下一个字节的概率。

沿着真实字节序列重复此过程，就能将原本的Token分布，逐步拆解为逐字节的训练目标。

第一种方法Marginalize-It，直接聚合后重新分配概率。

但问题出现在不同Token长度不一致时。

例如，当前缀为is时，isu和isk后面还有字节，但is这个Token已结束。

此时，若想知道is之后接什么，需继续查询教师在该Token结束后的预测；而不同候选路径可能对应不同的后续分布，计算量会迅速增加。

Marginalize-It的处理方式直接：

已结束的候选不再追踪，将剩余候选的概率重新归一化。

这样仅需一次教师前向计算，效率较高，但代价是丢失部分已结束Token的概率信息，因此本质上是一种近似。

第二种方法End-Of-Token，则为“Token结束”预留了一个位置。

End-Of-Token采用不同思路：既然Token会结束，不如为“结束”本身设定一个明确的预测位置。

具体来说，团队在每个Token末尾加入一个特殊符号。于是原本的三个候选变为：isu、isk和is。

这样，当前缀为is时，学生接下来可预测u，也可预测k，还可预测，表示当前Token到此结束。

原本因长度不同而“悬空”的概率，便有了明确归属。

因此，End-Of-Token能在保留Token边界的同时，更完整地将教师分布映射到字节空间。

而且，两种方法都仅需教师一次前向计算，即可完成从Token分布到字节分布的转换，无需为不同分词路径反复调用教师模型。

至此，教师模型的知识终于能真正传递给字节学生。

接下来需考察的是，它究竟能学到多少。

实验验证

团队分别测试了Token、普通字节和带符号的字节三种表示，每种再分为监督训练与蒸馏训练，共六组。

这样既能比较蒸馏的效果，也能观察改变学习单位后，模型训练表现的变化。

教师统一使用Llama 3-8B。三类学生的Transformer层参数量相同，均约为12.8亿。

计入词表相关参数后，总参数量有所不同：Token学生约18.1亿，字节学生约12.8亿。

研究逐步增加训练数据和计算量，字节模型的训练覆盖约万亿字节规模，并在选择题问答、语言生成和机器翻译三类任务中完成八项评测。

首先观察训练过程。

Token模型在计算量较小时学习更快，但很快接近平台期；字节模型起步较慢，却随计算量增加持续改善。

也就是说，Token模型赢在前期效率，字节模型则展现出更好的Scaling潜力。

不过，若仅看BPB，即统一到每字节的预测损失，几种字节模型很早便超过Token模型，但实际做题时成绩仍较低。

这是因为BPB衡量模型对文本预测的准确性，而下游任务关注最终答案是否正确，两者并非同一概念。

因此，团队未直接以BPB判断优劣，而是进一步拟合了：训练计算量 → BPB → 下游任务成绩，再以此关系预测不同方案继续Scaling后的能力上限。

结果显示，三种蒸馏方案的预测平均准确率上限分别为：

Token蒸馏48.4%，Marginalize-It蒸馏50.5%，End-Of-Token蒸馏52.4%。

也就是说，End-Of-Token最终比传统Token蒸馏高出4个百分点，也是六种方案中预测上限最高的。

然而，蒸馏的优势并非在所有预测中都成立。

普通字节监督模型的渐近准确率预测为51.2%，高于Marginalize-It蒸馏的50.5%。

论文认为，原因很可能在于Marginalize-It为节省计算，丢掉了部分Token结束后的概率信息。

而能更完整保留教师分布的End-Of-Token，则同时超越了自己的监督版本和其他所有方案。

进一步，按Scaling曲线继续外推，End-Of-Token大约在6.33×10²² FLOPs时，就能追平Token蒸馏48.4%的预测上限。

最后，实验还表明字节级蒸馏能显著降低数据和教师分布的存储压力。

团队将这些渐近预测与现有开放权重模型进行了比较。

按论文的预测计算预算，End-Of-Token处理的实际文本量约为Token方案的六分之一；

在Token仅保存top-600、字节保存完整分布的设置下，存储量也只有约五分之一。

不过，更少的数据并不代表更少的计算。

尤其是End-Of-Token在每个Token后加入了符号，处理相同文本量时，训练计算量比普通字节模型还高约30.94%。

同时，推理成本也存在同样问题，论文目前尚未完成等推理成本下的公平比较。

因此，总体而言，这项工作展示了一条小模型训练的新路径：将教师的知识转换到字节级别，让学生以更小的预测空间、更少的训练文本，争取更高的能力上限。

End-Of-Token在这组实验的外推中表现最佳，但要兑现这一潜力，仍需继续投入计算。

作者介绍

最后，介绍论文的作者。

论文一作Kalyani Marathe是华盛顿大学博士生，师从Luke Zettlemoyer，研究兴趣集中于大模型训练、模型架构与Scaling。

她此前曾在Meta AI Research实习，也在Amazon Robotics的Foundation Models团队工作过。

Artidoro Pagnoni是华盛顿大学计算机系博士生、Meta访问研究员，研究重点是大模型的资源效率与Scaling，此前曾就读于CMU和哈佛大学。

他也是Byte Latent Transformer（BLT）和QLoRA的核心作者之一，后者大幅降低了大模型微调的显存需求。

Tomasz Limisiewicz是华盛顿大学和Meta的博士后研究员，此前在查理大学获得博士学位。

他主要研究大语言模型如何学习和迁移能力，尤其关注数据、模型内部机制、Tokenization，以及低资源语言和模型鲁棒性。

Margaret Li是华盛顿大学博士生，师从Luke Zettlemoyer和Tim Althoff，同时也是Meta FAIR的访问研究员。

她的研究涉及大模型高效训练与生成、条件计算、可控性和安全，此前还曾担任FAIR研究工程师，参与开放域对话等方向的研究。

Mike Lewis是Meta FAIR研究科学家，也是Llama 3预训练负责人之一。

他此前参与了RoBERTa、BART、CICERO、kNN-LM、Attention Sinks和Top-k Sampling等多项代表性工作。

Luke Zettlemoyer是华盛顿大学Allen School教授，同时担任Meta FAIR Seattle负责人，长期研究语言模型预训练、语义解析、问答和多语言NLP。

他曾获得美国总统青年科学家与工程师奖（PECASE），并在顶级NLP会议上获得十余项论文奖。

Srinivasan Iyer是Meta FAIR研究科学家，研究方向涵盖语言建模、文本生成、摘要、可解释性和问答。

他在华盛顿大学获得计算机博士学位，师从Luke Zettlemoyer和Alvin Cheung，博士阶段重点研究自然语言与通用源代码的联合建模。

本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。在探索字节级蒸馏新路径的过程中，乐鱼娱乐也关注到这项技术对模型训练的潜在影响。