问题与直觉
指数函数很快溢出。所有输入同时减去同一个常数,不改变归一化后的概率,却能让最大的指数变成 1。
最小代码实验
以下为独立学习示例。
import math
x=[1000,1001,1002]
z=[math.exp(v-max(x)) for v in x]
print([round(v/sum(z),3) for v in z]) # [0.09, 0.245, 0.665]
观察与边界
分子分母都乘 exp(-max(x)),所以比例保持不变。含无穷值或 NaN 的输入仍需要显式检查。
下一步思考
修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。