YH. 周毅恒PERSONAL PORTFOLIO
菜单 +
← 返回学习日志
JOURNAL / 模型 / 2026-11-16

LoRA:用低秩增量适配模型

问题与直觉

冻结原始权重 W,仅学习低秩矩阵 B 和 A,使增量为 BA。若 W 为 d×d,新增参数量从 d² 降为 2dr;这依赖 r 远小于 d。

最小代码实验

以下为独立学习示例。

d, r = 4096, 8
print(d*d) # 16777216
print(2*d*r) # 65536

观察与边界

参数量下降不等于所有显存同比下降,激活与优化器状态仍占空间。rank 应通过任务评估选择。

下一步思考

修改示例中的一个输入,先写下预测,再运行代码对照结果。保留正常情况与边界情况各一组,记录差异来自公式、数据还是实现。

原始资料

阅读官方文档或原论文