问题与直觉
对 f(x)=x²,梯度是 2x。迭代 x←x−η2x 等价于每步乘以 1−2η。当乘子的绝对值小于 1 时,误差逐步缩小。
最小代码实验
以下为独立学习示例。
x, rate = 4., 0.1
for _ in range(10):
x -= rate * 2*x
print(round(x,4)) # 0.4295
观察与边界
这个二次函数在 0<η<1 时收敛;η=1 会振荡。复杂损失函数的学习率范围不能直接照搬。
下一步思考
修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。