GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块
1080 字
5 分钟
GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块
整理自
03_GPU_Architecture_and_Memory.ipynb的 Q1-Q4 知识点答疑。
一、L2 Cache、SRAM、Shared Memory、HBM 的关系
SRAM 不是新东西,就是你之前听到的 Shared Memory 的”物理材质”。
- SRAM (Static Random Access Memory) 是一种半导体存储工艺(静态随机存取存储器),速度快但密度低、贵。
- Shared Memory 是 CUDA 编程模型里的一个”逻辑抽象”——它是 SRAM 的一块切片,由同一个 Block 内的线程共享。所以文档里写”SRAM / 片上共享内存”是一回事。
- L2 Cache 也是片上缓存(也是 SRAM 工艺),但它是所有 SM 共享的,用作 HBM 读写的缓冲,由硬件自动管理,程序员一般不直接控制。
- HBM 是片外显存(高带宽 DRAM 堆叠在 GPU 封装旁边),容量大但慢,存放权重/KV Cache/大张量。
关键对比表
| 层级 | 容量 (A100) | 带宽 | 谁管理 | 你写代码时怎么用 |
|---|---|---|---|---|
| Registers | ~KB/线程 | 最快 (<1 cycle) | 编译器 | 局部变量,自动分配 |
| SRAM (= Shared Memory) | 192 KB/SM | 19 TB/s | 程序员 | __shared__ 声明 / Triton 自动管理 |
| L2 Cache | 40 MB | 1.5 TB/s | 硬件自动 | 无法直接控制,但可命中 |
| HBM (Global) | 80 GB | 1.5 TB/s | 程序员 | cudaMalloc / PyTorch tensor |
联系与区别
- SRAM vs L2:都是片上 SRAM 工艺,但 SRAM 是每 SM 私有、程序员显式控制;L2 是全局共享、硬件自动管理。
- L2 vs HBM:L2 是 HBM 的”前置缓冲”——读写 HBM 时数据会先经过 L2,重复访问的数据可能命中 L2 而不用再去 HBM。L2 容量小(40 MB)所以命中率有限。
- Shared Memory vs HBM:完全不同层级的存储。Shared Memory 是 Block 内协作的”工作台”,HBM 是”大仓库”。
二、FlashAttention 如何用分块省显存
你已懂 Online Softmax 原理,那分块的核心作用一句话:让 SRAM 容得下整个 tile,使 N×N 矩阵永远不写回 HBM。
分块(Tiling)为什么能省显存——三步逻辑
- 容量匹配:N×N 的完整 score 矩阵在 seq=128K 时高达 34 GB,根本塞不进 192 KB 的 SRAM。但切成 128×128 的块后只有 32 KB,SRAM 装得下。
- 融合(Fusion):一旦 tile 进了 SRAM,
S=QK^T → softmax → ×V这三步可以全部在 SRAM 内完成,不用中途写回 HBM。Online Softmax 在 SRAM 内维护每行的m(max)和l(sum of exp)两个标量,处理完所有 K_block 后再更新一次最终结果。 - N×N 永不落地 HBM:因为中间结果 S、P 都只在 SRAM 短暂存在,HBM 里只剩下 Q、K、V、O(输入输出),把显存复杂度从 O(N²) 压到 O(N)。
注意:FlashAttention 没有减少 FLOPs(计算量还是 O(N²)),它减的是 HBM 读写量——而 GPU 大模型推理卡在 HBM 带宽上,这才是真正的瓶颈。
三、分块之后的效果
数字来自 notebook 的 Q3/Q4 验证。
1. 显存复杂度:O(N²) → O(N)
- 标准 Attention 必须在 HBM 里存下整个 N×N 的
S=QK^T和P=softmax(S)(每个 head 一份)。 - FlashAttention 只在 SRAM 里临时存 tile,HBM 里只多存了 online softmax 的
m, l两个标量/行 → 总量N × num_heads × 2 × 4 bytes。 - seq=128K 时:N² 项 34 GB → m,l 项 0.03 GB,整体从 38.65 GB 降到 4.33 GB(9x)。
2. HBM IO 次数:3+ 趟 N² → 1 趟分块
- Naive 的 HBM 往返:写 S → 读 S → 写 P → 读 P → 写 O,至少 3 次搬动 N×N。
- FlashAttention 每个 tile 只 load 一次 Q/K/V block、write 一次 O block,N×N 矩阵根本不进 HBM。
- 在 seq=4K、block=128 时:完整 score 32 MB → 单 tile 32 KB,IO 减少 1024x。
3. 为什么 seq=512 时只省 1x?
- 短序列时 N² 项本来就小(512² × 2B = 0.5 MB),整个 attention 的显存被 Q/K/V/O 主导(这部分的复杂度是 O(N),FA 也省不掉)。
- 随着 seq_len 增大,N² 项迅速膨胀主导总显存,FA 的”省 N²”优势才被放大。
数值效果汇总
| 指标 | Naive | FlashAttention | 倍数 |
|---|---|---|---|
| VRAM (seq=128K, 32 heads, dim=128) | 38.65 GB | 4.33 GB | 9x 节省 |
| HBM IO (seq=4K, block=128) | 32 MB (N×N) | 32 KB (单 tile) | 1024x 减少 |
| 显存复杂度 | O(N²) | O(N) | N² 项被干掉 |
| 计算量 FLOPs | O(N²) | O(N²) | 不变 |
一句话总结
- L2 Cache = 片上全局共享缓冲(硬件管理,40 MB),位于 HBM 和 SRAM 之间。
- SRAM = Shared Memory = 同一种 SRAM 工艺,但每 SM 私有、程序员显式管理(192 KB/SM,19 TB/s)。
- FlashAttention 分块 = 把 N×N 矩阵切到能塞进 SRAM 的小块,让它在片上完成全部计算不写回 HBM,显存复杂度从 O(N²) 压到 O(N),HBM IO 减少 1000x 量级。
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!
GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块
https://acoolfish.site/posts/gpu-memory-hierarchy/相关文章智能推荐
1
10 分钟了解 SRAM、L1 Cache、L2 Cache
GPU 与显存SRAM、Shared Memory、L1、L2、HBM 到底是什么关系?用一张结构图讲清 GPU 的存储层级。
2
浅解 KV Cache 与 FlashAttention
LLM 推理KV Cache 解决"历史状态累积",FlashAttention 解决"单次计算的瞬时访存"——两堵显存墙的成因与解法。
3
浅解码码策略与投机解码
LLM 推理从 logits 到 token 的解码策略(Temperature / Top-K / Top-p)与投机解码的草稿-验证机制、接受概率公式与无损保证。
4
浅解大模型训练中的数据格式与混合精度
训练基础FP16/BF16/FP8 的取舍、为什么 BF16 赢得训练而 FP16 退守推理,以及 AMP 混合精度训练的显存拆账。
5
一个方程的四种解法:PPO / DPO / GRPO / GSPO
强化学习RLHF 的目标方程只有一行,PPO / DPO / GRPO / GSPO 是它的四种解法。从策略梯度、优势函数到重要性采样,一篇打通四个算法的共同骨架。
随机文章随机推荐












