YH. 周毅恒PERSONAL PORTFOLIO
菜单 +
← 返回学习日志
JOURNAL / 数学 / 2026-11-16

梯度下降:学习率如何影响收敛

问题与直觉

对 f(x)=x²,梯度是 2x。迭代 x←x−η2x 等价于每步乘以 1−2η。当乘子的绝对值小于 1 时,误差逐步缩小。

最小代码实验

以下为独立学习示例。

x, rate = 4., 0.1
for _ in range(10):
    x -= rate * 2*x
print(round(x,4)) # 0.4295

观察与边界

这个二次函数在 0<η<1 时收敛;η=1 会振荡。复杂损失函数的学习率范围不能直接照搬。

下一步思考

修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。