YH. 周毅恒PERSONAL PORTFOLIO
菜单 +
← 返回学习日志
JOURNAL / 模型 / 2026-11-16

注意力:从相似度到信息聚合

问题与直觉

查询 Q 与键 K 的内积决定关注位置,softmax 将分数转成权重,再对 V 加权。缩放因子用于缓解维度增大导致的分数尺度变化。

最小代码实验

以下为独立学习示例。需安装 NumPy。

import numpy as np
scores = np.array([2., 1., 0.])
p = np.exp(scores - scores.max())
p /= p.sum()
print(p.round(3)) # [0.665 0.245 0.090]

观察与边界

三个位置的权重之和为 1;最大分数对应最大权重。注意力不是事实正确性的保证。

下一步思考

修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。

原始资料

阅读官方文档或原论文