显存消耗主要由模型参数、优化器状态、梯度和激活值四部分组成，通过精确计算公式搭配混合精度训练、梯度检查点等技术，可以在有限硬件资源下实现高效微调。 很多开发者在尝试微调大模型时，往往会遇到“显存溢出”（OOM）的报错，根本原因是对显存占用缺乏量化的认知。掌握显存计算逻辑，是降低试错成本、优化训练策略的关键。
显存占用的四大核心组件解析
要精准计算显存,必须拆解显存占用的具体构成，在微调过程中，显存并非仅仅存储模型权重，还包括训练过程中产生的中间状态。
-
模型参数权重
这是模型基础占用的部分，对于一个参数量为 $Phi$ 的模型，其权重占用显存大小取决于存储精度。- FP32（32位浮点数）：每个参数占用 4 字节，总占用 $4Phi$。
- FP16/BF16（16位浮点数）：每个参数占用 2 字节，总占用 $2Phi$。
通常在混合精度训练中，模型权重会以 FP16 形式存储，但在优化器中会保留 FP32 副本。
-
优化器状态
这是显存占用的“隐形大户”，以常见的 AdamW 优化器为例，它需要为一阶动量和二阶动量各保存一份状态。- 如果使用全量微调,优化器通常需要维护 FP32 精度的参数副本（4字节）、一阶动量（4字节）和二阶动量（4字节）。
- 单个参数在优化器中可能占用 12 字节甚至更多。
优化器状态往往是模型权重本身的 2-3 倍，是全量微调显存不足的主要原因。
-
梯度
梯度占用与模型参数量呈正相关，在反向传播过程中，每个参数都会产生对应的梯度。- 通常梯度以 FP16 格式存储，占用 $2Phi$。
- 但为了数值稳定性,部分框架会在计算时临时使用 FP32。
-
激活值
激活值是前向传播过程中各层的输出，用于反向传播计算梯度。激活值的大小与输入数据的批次大小和序列长度成正比。- 激活值显存占用估算公式大致为：$Activation approx BatchSize times SequenceLength times HiddenSize times Layers$。
- 长文本训练时,激活值往往会成为显存瓶颈。
不同微调策略下的显存计算实战
花了时间研究大模型微调显存计算，这些想分享给你，特别是针对 LoRA 和全量微调两种主流方式的差异，计算逻辑截然不同。
-
全量微调的显存账单
假设微调一个 7B（70亿参数）模型，使用 AdamW 优化器和混合精度训练。- 模型权重（FP16）：$7 times 10^9 times 2 text{ Bytes} approx 14 text{ GB}$。
- 优化器状态（FP32副本+动量）：$7 times 10^9 times 12 text{ Bytes} approx 84 text{ GB}$。
- 梯度（FP16）：$7 times 10^9 times 2 text{ Bytes} approx 14 text{ GB}$。
- 总计静态显存需求接近 112 GB，这还不包括激活值和系统开销。 显然，消费级显卡（如 RTX 4090 24GB）无法承载全量微调。
-
LoRA 高效微调的显存红利
LoRA（Low-Rank Adaptation）通过冻结原模型权重，仅训练低秩矩阵，极大降低了显存需求。- 假设可训练参数仅为原模型的 0.1%。
- 模型权重（冻结，FP16）：14 GB。
- 优化器状态：仅针对极少的可训练参数，几乎可忽略不计。
- 梯度：同样极小。
LoRA 将显存需求从“百 GB 级”降至“二十 GB 级”，使得单卡微调大模型成为可能。
优化显存占用的专业解决方案
在实际工程落地中,除了选择 LoRA，还有多项技术手段可以进一步压缩显存。
-
混合精度训练
混合精度不仅加速训练，更是显存优化的基石。 它在计算过程中使用 FP16，但在权重更新时保留 FP32 主权重，平衡了速度与精度，这几乎是现代大模型训练的标配。 -
梯度检查点
这是解决激活值显存爆炸的利器。- 核心原理： 在前向传播时不保存所有中间激活值，而是在反向传播需要时重新计算。
- 代价： 以计算换显存，增加约 20%-30% 的计算时间。
- 收益： 激活值显存占用可从 $O(n)$ 降至 $O(sqrt{n})$，显著支持更大的 Batch Size 或序列长度。
-
Flash Attention
针对 Transformer 架构中注意力机制的显存优化算法。- 它通过分块计算和内存访问优化,将注意力矩阵的显存复杂度从平方级 $O(N^2)$ 降为线性级 $O(N)$。
- Flash Attention 不仅能处理更长的上下文，还能带来 2-4 倍的加速，是目前处理长文本微调的首选。
-
量化技术 (QLoRA / BitsAndBytes)
LoRA 依然无法满足显存限制，可以使用 4-bit 或 8-bit 量化加载基础模型。
- 4-bit 量化下，7B 模型权重仅占用约 3.5 GB 显存。
- 配合双量化技术,可以在保持性能基本无损的前提下，让微调在极低资源环境下运行。
显存计算的经验公式与避坑指南
为了方便开发者快速估算,总结以下经验公式：
- 推理显存： 约为模型参数量 $times$ 2 字节（FP16）。
- 全量微调显存： 约为模型参数量 $times$ 20 字节（包含优化器、梯度、激活值冗余）。
- LoRA 微调显存： 约为模型参数量 $times$ 2 字节 + 激活值显存。
避坑指南：
- 数据加载瓶颈： 确保数据预处理在 CPU 完成，避免在 GPU 上进行无关的张量操作。
- CUDA Out of Memory 调试： 遇到 OOM 不要盲目减小 Batch Size，先用
torch.cuda.memory_summary()分析显存碎片情况。 - DeepSpeed ZeRO 技术： 对于多卡环境，利用 ZeRO-Stage 2 或 Stage 3 将优化器状态和梯度切片存储，能突破单卡显存物理限制。
相关问答
Q1：为什么我的显存占用比计算值要大很多？
A1：这通常是由于显存碎片化和框架开销导致的，深度学习框架（如 PyTorch）在分配显存时会有预分配机制，且 CUDA Context 本身需要占用几百 MB 到 1 GB 的显存，如果未开启梯度检查点，长序列数据产生的激活值会呈指数级增长，导致实际占用远超模型权重本身，建议检查是否开启了 Flash Attention 和梯度检查点。
Q2：LoRA 微调时，Rank 值设置多少合适，对显存影响大吗？
A2：Rank 值（秩）对显存影响相对较小，但对模型性能影响较大，Rank 设置在 8 到 64 之间，增加 Rank 会线性增加可训练参数量，但由于 LoRA 参数量基数极小，Rank 从 8 增加到 64，显存增长可能只有几十 MB 到几百 MB，几乎可以忽略不计，建议根据任务复杂度调整 Rank，而非为了省显存刻意降低 Rank。
如果你在微调大模型的过程中有独特的显存优化技巧或遇到过棘手的 OOM 问题，欢迎在评论区分享你的解决方案。
首发原创文章，作者：王坚，如若转载，请注明出处：https://test.idctop.com/article/103378.html
