← 动画作战地图
章节知识地图
/ Z 卷 · 模型微调
LoRA 低秩分解：只训约 0.3% 参数凭什么有效
全参数微调 7B 要 ~112GB 显存，LoRA 只训两个小矩阵就拿到 80% 效果——秘密全在「低秩假设」。
低秩假设
ΔW ≈ A×B
冻结基座
QLoRA
⏮ 上一步
▶ 自动播放
下一步 ⏭
0 / 6
💡 一句话：
预训练模型已经很会了，微调只是「在原有基础上轻推一把」——这个「轻推」的方向只有很低的维度，用两个小矩阵就能表示。