视频加载失败

浅解大模型训练中的数据格式与混合精度

1853 字
9 分钟
浅解大模型训练中的数据格式与混合精度

大模型训练推理中各种数据格式其实就是不同类型的浮点数,而一个浮点数由三部分组成,从高位到低位依次是:

┌───────────────┬──────────────────────────┬─────────────────────────────────┐
│ 符号位 (S) │ 指数位 (E) │ 尾数位 (M) │
│ 1 bit │ E bits │ M bits │
└───────┬───────┴────────────┬─────────────┴────────────────┬────────────────┘
│ │ │
│ │ └── 决定「数值精度」 (有效数字多少)
│ └───────────────────────────────── 决定「动态范围」 (最大/最小值跨度)
└──────────────────────────────────────────────────── 决定「正负符号」 (0 为正, 1 为负)

而不同数据格式的区别见下表:

格式总 bits符号 S指数 E尾数 M最大值精度典型用途
FP323218233.4e38高(7位十进制)基准测试/调试/优化器主权重
FP16161510≈65504中(3位十进制)推理加速(TensorRT/vLLM)
BF16161873.4e38中低(2位十进制)大模型训练主流(A100/H100/TPU)
FP8-E4M38143小低H100 前向传播 / 激活值量化
FP8-E5M28152中极低H100 反向传播 / 梯度量化
INT88———[-128,127]靠缩放量化推理
INT44———[-8,7]极靠缩放LLM 权重量化

指数位越大,该数据格式能表示的数值范围越大,训练时可以很好的避免数值上溢的问题。尾数位越大,这种数据格式可以表示的小数有效数字越多,表示的数值精度越大。

通过一个问题进一步了解 FP16 与 BF16。#

为什么现代大模型预训练(如 LLaMA)大多转向了 BF16,而不再首选 FP16?#

FP16 指数位为 5,尾数位是 10,他能表示的数值最大值有限(最大为 65504),在大模型训练中会出现以下两个问题:

  • 上溢问题(主要痛点):Attention 的 logits、未归一化的激活值、或某些层的梯度容易超过 65504,造成上溢变成 NaN,一旦出现 NaN,会立即传播到整个模型,导致训练崩溃。这是 FP16 训练的最大障碍。
  • 下溢问题(次要):反向传播中的小梯度(如 10⁻⁷ 量级)可能因精度不足被截断,影响参数更新。

为了解决 FP16 带来的问题,这时候就需要进行工程上的优化,引入 Loss Scaling(损失缩放):

  • 原理:在反向传播前放大损失值(如乘以 1024),将小梯度放大到 FP16 可表示范围,计算完成后再缩小回来,从而缓解下溢。
  • 局限:只能解决梯度的下溢,无法解决前向传播中的上溢;且缩放因子需要动态调整(检测溢出后减小,长期无溢出时增大),增加了工程复杂度。
  • 历史成功:早期的 BERT、GPT-2 等模型在 V100(仅支持 FP16 Tensor Core)上通过精心调优仍实现了稳定训练。

由于 FP16 的数据格式训练太麻烦,BF16 就诞生了,它的指数位为 8,尾数位是 7,这样它能像 FP32 那样表示很大的数值范围,3.4×10383.4 \times 10^{38},在实际训练中几乎不会上溢——这是相比 FP16 的决定性优势。而 BF16 损失的数值精度微不足道,因为训练是长期累积的统计过程,单步的微小舍入误差会被后续更新”平滑”掉。

所以,用较小的精度代价换取极大的数值稳定性,BF16 成为了现代大模型预训练(如 LLaMA、GPT-3、PaLM)的主流选择。

此外,A100 起原生支持 BF16 Tensor Core。

FP8 的出现 —— NVIDIA H100(Hopper 架构)专属#

随着模型越来越大,16-bit 已经满足不了工业界的胃口了。NVIDIA 在 H100 中引入了极其激进的原生 FP8 计算。它仅在 8 bits 空间努力同时兼顾范围和精度 → 拆成两种独立变体,训练时前向传播与后向传播各用一个:

前向/激活 (E4M3) 反向/梯度 (E5M2)
┌─┬─────────┬─────────┐ ┌─┬───────────┬───────┐
│S│E(4 bits)│M(3 bits)│ │S│E(5 bits) │M(2位) │
└─┴─────────┴─────────┘ └─┴───────────┴───────┘
侧重:精度(尾数多1位) 侧重:范围(指数多1位)
激活值分布集中,要精度 梯度跨度极大,怕下溢
  • E4M3(前向/激活):指数 4 位 + 尾数 3 位。前向对精度敏感,激活值分布集中不需要大范围

  • E5M2(反向/梯度):指数 5 位 + 尾数 2 位。反向梯度跨度极大,必须多给指数位防下溢

  • 优势:显存再减半(相对 16-bit),算力进一步提升

  • 当前状态:H100 硬件支持,但生态还在成熟中;训练时混合精度从 BF16 → FP8 的门槛较高(需要 careful scaling)


混合精度训练 (AMP, Automatic Mixed Precision)#

1 什么是混合精度训练#

一句话:前向和反向用 16-bit(FP16/BF16)省显存 + 加速,参数更新用 FP32 保精度。

下一轮

输入 x (FP16/BF16)

Forward (16-bit)

Tensor Core 加速

Loss (16-bit)

⚠️ FP16需Loss Scaling

Backward (16-bit)

梯度 ∇W (16-bit)

梯度转 FP32

Optimizer Step (FP32)

• Master权重

• Adam动量

• W_new = W_old - LR×∇W

强转回 16-bit

下一轮

输入 x (FP16/BF16)

Forward (16-bit)

Tensor Core 加速

Loss (16-bit)

⚠️ FP16需Loss Scaling

Backward (16-bit)

梯度 ∇W (16-bit)

梯度转 FP32

Optimizer Step (FP32)

• Master权重

• Adam动量

• W_new = W_old - LR×∇W

强转回 16-bit

2 为什么优化器必须保留 FP32 Master Weights?#

核心公式:参数更新步 W_new = W_old - LR × ∇W

训练后期学习率非常小(例如 10⁻⁵ 量级),梯度 ∇W 也很小,两者乘出来的更新量 ΔW = LR × ∇W 是一个极其微小的数。

假设 W_old = 1.0,ΔW = 10⁻⁷:

精度1.0 + 1e-7 的结果能不能吃进更新?
FP32(23 位尾数)1.0000001 ✓能,23 位尾数足够识别微小增量
BF16(7 位尾数)1.0 ❌精度不足被抹零!
FP16(10 位尾数)1.0 ❌精度不足被抹零!

如果优化器也用 16-bit 存权重,微小更新直接归零,模型彻底停止学习。所以必须存一份 FP32 的 Master Weights 来做参数累加,再截断回 16-bit 做前向。

3 混合精度训练的显存拆分(Adam 优化器)#

设模型参数量为 Φ(单位 B):

组件精度字节数/参数小计(GB)占比
模型参数(Forward 用)FP16 / BF1622Φ12.5%
梯度(Backward 结果)FP16 / BF1622Φ12.5%
FP32 主权重(Master)FP3244Φ25.0%
Adam 一阶动量 (m)FP3244Φ25.0%
Adam 二阶动量 (v)FP3244Φ25.0%
总计16Φ100%

SGD 优化器没有二阶动量,优化器状态只需 4Φ,总显存 = 2Φ + 2Φ + 4Φ = 8Φ

结论:优化器状态占据了 75% 的训练显存!这就是为什么同样一张卡,推理能跑的模型比训练大得多——推理不需要优化器状态。

最后一个小总结:

BF16 的三大优势#
BF16 为什么赢?
├── ① 范围大(8位指数=FP32级)→ 实际训练几乎不上溢
├── ② 零调参(不用 Loss Scaling)→ 工程师幸福指数翻倍
└── ③ 硬件成主流(A100 起原生 BF16 Tensor Core)→ 算力不打折

精度损失(少 3 位尾数)的代价几乎可以忽略——神经网络对单步误差鲁棒,而溢出是灾难性的。用 3 位尾数的代价换永不崩溃,这笔交易在 LLaMA 时代绝对划算。

FP16 没被淘汰,只是换了战场#
  • 训练:BF16 全面胜出
  • 推理:FP16 仍是优选
    • 推理不涉及梯度和参数更新,数值范围压力小
    • FP16 10 位尾数 > BF16 7 位尾数 → 推理输出质量略好
    • 很多推理框架(TensorRT / vLLM)默认 FP16

附:硬件演进时间线(数据精度视角)#

代际架构GPU 代表关键精度升级
2017VoltaV100FP16 Tensor Core(FP16 时代开启)
2020AmpereA100BF16 原生 + TF32 隐形加速(大模型时代基石)
2022Ada LovelaceRTX 4090FP8 推理支持
2022HopperH100FP8 E4M3 + E5M2 双变体原生训练(极致效率)

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
浅解大模型训练中的数据格式与混合精度
https://acoolfish.site/posts/data-formats-mixed-precision/
作者
ACoolBlog
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
ACoolBlog
在读研究生 · 多模态视频理解 | 记录 Agent、强化学习与 LLM 推理的学习笔记
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
6
分类
4
标签
21
总字数
17,027
运行时长
0 天
最后活动
0 天前
文章目录