Google DeepMind 在 softmax 与交叉熵里找到两个数值 bug
Google DeepMind 的三位研究者指出,JAX、PyTorch、TensorFlow 与教科书中的 softmax、交叉熵标准实现有两个舍入 bug。Softmax Collapse 在正确类 logit 领先超过精度悬崖时把目标梯度舍入成 0,阈值约为 bf16 的 5.5、fp32 的 16.6;Softmax Cancellation 让蒸馏中本应趋零的梯度停在非零噪声底。修复是在对数空间用 softplus、expm1、log1p 计算。
- 类别: 研究与论文
- 主要来源: [P0] arXiv:2610.31642《A Fix for Softmax and Cross-Entropy》
- 证据强度: A(论文原文、实验设置、数值阈值均可核验,代码为可直接替换的实现;但所有实验规模很小,无大模型预训练验证,也无第三方复现)
- 技术锚点: A 架构与算法 / F 数据与方法论
- 关键词: softmax、交叉熵、Softmax Collapse、Softmax Cancellation、精度悬崖、bf16、log-sum-exp、grokking、知识蒸馏、数值稳定性
这是那种典型的"所有人都以为不会有问题"的地方。它不改变任何架构,但会让同一份代码在不同精度下走出不同的训练轨迹。
一、研究背景
softmax 与交叉熵是深度学习里调用次数最多的两个函数,训练和推理都在跑。它们的标准实现有一个沿用了二十多年的技巧:先把所有 logit 减去最大值,再取指数,避免 exp 溢出。这个技巧在防止溢出上是正确的,问题出在减完之后。
减去最大值后,最大 logit 对应的指数恰好是 1,分母变成 1 加上其余项的指数和。关键在于浮点数的分布不均匀:接近 0 的地方很密,接近 1 的地方很疏。fp32 下,接近 0 的数可以小到 10 的负 38 次方,但任何加到 1 上的量,小于约 10 的负 7 次方就会被舍入掉。于是当正确类领先足够多时,分母里的那一小项消失,分母变成精确的 1。
二、两个 bug 是怎么产生的
第一个叫 Softmax Collapse。分母变成 1 之后,损失 log(1) 等于 0,目标类的概率 q 变成 1,目标梯度 q 减 1 变成精确的 0。而其他类的分子是直接算出来的,没有经过"加 1"这一步,那些很小的值保留了下来,梯度仍然为正。结果就是梯度向量之和为正,不再为零。对梯度下降来说,这是一个结构性错误,不是精度噪声。
论文给出的触发阈值是一个 logit 间隔(正确类与其余类的 log-sum-exp 之差),称为精度悬崖:bf16 约 5.5,fp32 约 16.6,fp64 约 36.7。bf16 的 5.5 很低,一个训练得比较自信的语言模型头经常超过它。
第二个叫 Softmax Cancellation,出现在软目标蒸馏里。学生 logit 逼近教师 logit 时,真实梯度应该趋近于零;标准实现因为要算两个几乎相等的概率之差,精度丢失后停在一个非零的噪声底,于是学生即使与教师完全一致,仍然被推着走。
三、修复做法
修复的思路可以用一句话概括:不要做那个减法。
对于硬目标,用 softplus 把间隔 m 与 log-sum-exp 组合起来,log-softmax 写成 z 减去 softplus(−m);argmax 位置精确置 0 并从 LSE 中排除,损失直接写成 softplus(−m);目标梯度写成 −e^(−m)/(1+e^(−m)),而不是 1/(1+e^(−m)) 减 1。这样即使分母被舍入成 1,梯度仍然准确,自动微分也能保证梯度之和为零。
对于软目标,直接用师生 logit 差 δ,在概率下方做中心化得到 d,再用 expm1 与 log1p 在对数空间算比值,最后用 q 加权投影回零和,并在反向传播里注入自定义梯度。师生 logit 完全相等时,梯度精确为零。
论文称这是一个可直接替换的实现,没有明显速度损失。
四、实验结果
实验都在小规模任务上做,主要是模运算的 grokking 与玩具级蒸馏。
| 设置 | 标准交叉熵 | 修复后 |
|---|---|---|
| a+b mod 31,fp32,λ=1 | 94.3 / 96.4 / 96.5% | 100.0%(三个种子均为 100) |
| a+b mod 31,bf16,λ=1 | 93.3 / 94.9 / 94.2% | 100.0% |
| a+b mod 31,fp64,λ=1 | 100 / 100 / 97.2% | 100.0% |
| a²+b² mod 97,λ=0(无权重衰减) | 约 1250 步时从 61% 跌到 23% | 平滑升到 85% |
表后一句:最值得注意的是第三行与第四行。fp64 下标准实现也做不到稳定 100%,说明这不只是低精度问题;而没有权重衰减时,标准损失会在某个点突然崩塌,修复后不崩。论文把前者称为 Slingshot 尖峰,它在实践中常被误读成学习率没调好。
论文还给了一个副产品结论:记忆完成之后,logit 的增长被权重衰减与 Adam 的 ε 之间的均衡所约束,均衡点约为 log(1/ε)。这解释了为什么 ε 这个通常被当成纯数值稳定项的超参会实际影响模型最终的置信度。
五、局限与复现状态
论文自己写了一句限定,值得整句引用:"尽管我们的实验所探查的极端间隔与近乎为零的师生 logit 差距,在标准大规模训练中并不常见……" 这句话把适用范围说清楚了:在常规大模型预训练里,正确类领先到 bf16 悬崖之外的情形没那么频繁;但在两类场景里会常见,一是训练后期模型高度自信的分类头,二是从相近教师做蒸馏。
此外还有三处缺口。所有实验都是玩具规模,没有大词表上的语言模型预训练;融合式交叉熵内核(如 Liger、分块 CE)可能已经避开了部分问题,论文没有测;没有第三方独立复现。
六、判断与思考
1. 需要打问号的地方
- 从玩具任务到百亿参数训练之间,还有很长的外推距离。论文的结论在机制上成立,在工程影响上尚待验证。
- "所有实现都有 bug"是一个强表述。它成立的前提是这些框架都用同一个减最大值的写法,而这一点论文做了核查,但具体版本未逐一列出。
- 修复的收益在小任务上很显眼(93.3% 到 100%),但小任务的准确率对数值细节本来就敏感,收益幅度不宜直接外推。
2. 值得关注的信号
- JAX、PyTorch、TensorFlow 是否把修复并入主线。这是唯一能把论文结论变成公共收益的路径,也是可验证的采用指标。
- 做蒸馏的团队可以立刻自查:如果学生模型在收敛后仍然持续偏离教师,先排除数值因素,再怀疑容量不足。
- bf16 的 5.5 这个数会成为一个常用的诊断阈值。任何用 bf16 训练分类头或奖励模型的场景,都应该检查 logit 间隔的分布。
3. 对读者的启示
- 训练出现"损失突然飙升后能力退化"时,除了查学习率、数据、梯度裁剪,值得加一项:查目标类 logit 间隔是否越过了当前精度的悬崖。
- 如果做小模型蒸馏,先在教师与学生 logit 完全一致的合成数据上验证梯度是否为零。这是一行代码就能做的检验。
一个用了二十年的数值技巧,在一个没人预料到的方向上失效了。这类问题的共同点是:它不在论文的创新点上,而在所有人共用的那段代码里。
- arXiv:2610.31642《A Fix for Softmax and Cross-Entropy》