YH. 周毅恒PERSONAL PORTFOLIO
菜单 +
← 返回学习日志
JOURNAL / 数学 / 2026-11-16

数值稳定:为什么 softmax 要减最大值

问题与直觉

指数函数很快溢出。所有输入同时减去同一个常数,不改变归一化后的概率,却能让最大的指数变成 1。

最小代码实验

以下为独立学习示例。

import math
x=[1000,1001,1002]
z=[math.exp(v-max(x)) for v in x]
print([round(v/sum(z),3) for v in z]) # [0.09, 0.245, 0.665]

观察与边界

分子分母都乘 exp(-max(x)),所以比例保持不变。含无穷值或 NaN 的输入仍需要显式检查。

下一步思考

修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。