NLP高频面（37）大模型训练和推理的显存估计－飞书云文档¶

本文讨论了自然语言处理（NLP）中大型语言模型训练和推理时显存估计的相关问题，包括推理和训练阶段的显存需求计算及优化显存使用的策略。关键要点包括：

显存估计的重要性：在训练和推理大型语言模型时，准确估计显存需求有助于选择合适硬件配置，确保模型高效运行。

推理阶段显存需求：主要用于存储模型权重和中间激活值。模型权重显存 = 参数数量 × 每个参数的字节数，如 70 亿参数模型，FP32 精度需 28 GB，FP16 精度需 14 GB，INT8 量化需 7 GB，INT4 量化需 3.5 GB；中间激活值显存需求取决于批量大小、序列长度等。

训练阶段显存需求：更为复杂，包括模型权重、梯度、优化器状态和中间激活值。训练所需总显存约为推理显存的3到4倍，如70亿参数模型用FP32精度推理需28GB显存，训练可能需84GB至112GB。

优化显存使用策略：可采用混合精度训练、模型并行和数据并行、梯度检查点、参数量化等策略；Hugging Face的Model Memory Estimator可辅助估算显存需求。

在训练和推理大型语言模型时，显存（GPU内存）的需求是一个关键考虑因素。准确估计这些需求有助于选择合适的硬件配置，确保模型高效运行。

推理阶段的显存需求¶

在推理过程中，显存主要用于存储模型权重和中间激活值。模型权重的显存需求可以通过以下公式估算：

代码块 1 模型权重显存 = 参数数量 $ \times $ 每个参数的字节数 21

例如，对于一个具有70亿（7B）参数的模型：

FP32（32位精度）：7B×4字节=28GB

FP16（16位精度）：7B × 2字节 = 14 GB

INT8（8位量化）：7B × 1字节 = 7GB

INT4（4位量化）：7B × 0.5字节 = 3.5GB

此外，中间激活值的显存需求取决于批量大小（batch size）、序列长度（sequence length）等因素。通常情况下，推理阶段的中间激活值占用的显存相对较小，但在处理长序列或大批量数据时，需要额外考虑这部分的显存消耗。

训练过程中的显存需求更为复杂，主要包括以下部分：

模型权重：与推理阶段相同，用于存储模型的参数。

梯度：每个参数在反向传播时需要存储对应的梯度，通常与模型权重占用相同的显存。

优化器状态：例如，Adam 优化器需要为每个参数存储额外的动量和二阶矩信息，约为参数数量的两倍显存。

中间激活值：用于反向传播，具体显存需求取决于模型架构和实现方式。

综合以上因素，训练所需的总显存可以估算为推理显存的3到4倍。例如，对于一个70亿参数的模型，使用FP32精度，推理时需要约28 GB显存，因此训练时可能需要约84 GB至112 GB显存。

为了在有限的硬件资源下高效地训练和推理大型模型，可以考虑以下策略：

混合精度训练：结合使用 FP16 和 FP32 精度，减少显存占用并加速训练过程。

模型并行和数据并行：将模型或数据分布到多个 GPU 上，平衡计算和显存负载。

梯度检查点（Gradient Checkpointing）：在前向传播时有选择地保存部分激活值，减少内存使用，但会增加计算开销。

参数量化：将模型权重从 FP32 降低到 INT8 或更低精度，显著减少显存需求，代价是可能略微降低模型性能。

此外，工具如 Hugging Face 的 Model Memory Estimator 可以帮助开发者估算特定模型的显存需求，辅助硬件规划和资源分配。