问题与直觉
冻结原始权重 W,仅学习低秩矩阵 B 和 A,使增量为 BA。若 W 为 d×d,新增参数量从 d² 降为 2dr;这依赖 r 远小于 d。
最小代码实验
以下为独立学习示例。
d, r = 4096, 8
print(d*d) # 16777216
print(2*d*r) # 65536
观察与边界
参数量下降不等于所有显存同比下降,激活与优化器状态仍占空间。rank 应通过任务评估选择。
下一步思考
修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。