视频加载失败

GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块

1080 字
5 分钟
GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块

整理自 03_GPU_Architecture_and_Memory.ipynb 的 Q1-Q4 知识点答疑。


一、L2 Cache、SRAM、Shared Memory、HBM 的关系#

SRAM 不是新东西,就是你之前听到的 Shared Memory 的”物理材质”。

GPU 内存层级
GPU 内存层级

  • SRAM (Static Random Access Memory) 是一种半导体存储工艺(静态随机存取存储器),速度快但密度低、贵。
  • Shared Memory 是 CUDA 编程模型里的一个”逻辑抽象”——它是 SRAM 的一块切片,由同一个 Block 内的线程共享。所以文档里写”SRAM / 片上共享内存”是一回事。
  • L2 Cache 也是片上缓存(也是 SRAM 工艺),但它是所有 SM 共享的,用作 HBM 读写的缓冲,由硬件自动管理,程序员一般不直接控制。
  • HBM 是片外显存(高带宽 DRAM 堆叠在 GPU 封装旁边),容量大但慢,存放权重/KV Cache/大张量。

关键对比表#

层级容量 (A100)带宽谁管理你写代码时怎么用
Registers~KB/线程最快 (<1 cycle)编译器局部变量,自动分配
SRAM (= Shared Memory)192 KB/SM19 TB/s程序员__shared__ 声明 / Triton 自动管理
L2 Cache40 MB1.5 TB/s硬件自动无法直接控制,但可命中
HBM (Global)80 GB1.5 TB/s程序员cudaMalloc / PyTorch tensor

联系与区别#

  • SRAM vs L2:都是片上 SRAM 工艺,但 SRAM 是每 SM 私有、程序员显式控制;L2 是全局共享、硬件自动管理。
  • L2 vs HBM:L2 是 HBM 的”前置缓冲”——读写 HBM 时数据会先经过 L2,重复访问的数据可能命中 L2 而不用再去 HBM。L2 容量小(40 MB)所以命中率有限。
  • Shared Memory vs HBM:完全不同层级的存储。Shared Memory 是 Block 内协作的”工作台”,HBM 是”大仓库”。

二、FlashAttention 如何用分块省显存#

你已懂 Online Softmax 原理,那分块的核心作用一句话:让 SRAM 容得下整个 tile,使 N×N 矩阵永远不写回 HBM。

FlashAttention 分块
FlashAttention 分块

分块(Tiling)为什么能省显存——三步逻辑#

  1. 容量匹配:N×N 的完整 score 矩阵在 seq=128K 时高达 34 GB,根本塞不进 192 KB 的 SRAM。但切成 128×128 的块后只有 32 KB,SRAM 装得下。
  2. 融合(Fusion):一旦 tile 进了 SRAM,S=QK^T → softmax → ×V 这三步可以全部在 SRAM 内完成,不用中途写回 HBM。Online Softmax 在 SRAM 内维护每行的 m(max)和 l(sum of exp)两个标量,处理完所有 K_block 后再更新一次最终结果。
  3. N×N 永不落地 HBM:因为中间结果 S、P 都只在 SRAM 短暂存在,HBM 里只剩下 Q、K、V、O(输入输出),把显存复杂度从 O(N²) 压到 O(N)。

注意:FlashAttention 没有减少 FLOPs(计算量还是 O(N²)),它减的是 HBM 读写量——而 GPU 大模型推理卡在 HBM 带宽上,这才是真正的瓶颈。


三、分块之后的效果#

数字来自 notebook 的 Q3/Q4 验证。

1. 显存复杂度:O(N²) → O(N)#

  • 标准 Attention 必须在 HBM 里存下整个 N×N 的 S=QK^T 和 P=softmax(S)(每个 head 一份)。
  • FlashAttention 只在 SRAM 里临时存 tile,HBM 里只多存了 online softmax 的 m, l 两个标量/行 → 总量 N × num_heads × 2 × 4 bytes。
  • seq=128K 时:N² 项 34 GB → m,l 项 0.03 GB,整体从 38.65 GB 降到 4.33 GB(9x)。

2. HBM IO 次数:3+ 趟 N² → 1 趟分块#

  • Naive 的 HBM 往返:写 S → 读 S → 写 P → 读 P → 写 O,至少 3 次搬动 N×N。
  • FlashAttention 每个 tile 只 load 一次 Q/K/V block、write 一次 O block,N×N 矩阵根本不进 HBM。
  • 在 seq=4K、block=128 时:完整 score 32 MB → 单 tile 32 KB,IO 减少 1024x。

3. 为什么 seq=512 时只省 1x?#

  • 短序列时 N² 项本来就小(512² × 2B = 0.5 MB),整个 attention 的显存被 Q/K/V/O 主导(这部分的复杂度是 O(N),FA 也省不掉)。
  • 随着 seq_len 增大,N² 项迅速膨胀主导总显存,FA 的”省 N²”优势才被放大。

数值效果汇总#

指标NaiveFlashAttention倍数
VRAM (seq=128K, 32 heads, dim=128)38.65 GB4.33 GB9x 节省
HBM IO (seq=4K, block=128)32 MB (N×N)32 KB (单 tile)1024x 减少
显存复杂度O(N²)O(N)N² 项被干掉
计算量 FLOPsO(N²)O(N²)不变

一句话总结#

  • L2 Cache = 片上全局共享缓冲(硬件管理,40 MB),位于 HBM 和 SRAM 之间。
  • SRAM = Shared Memory = 同一种 SRAM 工艺,但每 SM 私有、程序员显式管理(192 KB/SM,19 TB/s)。
  • FlashAttention 分块 = 把 N×N 矩阵切到能塞进 SRAM 的小块,让它在片上完成全部计算不写回 HBM,显存复杂度从 O(N²) 压到 O(N),HBM IO 减少 1000x 量级。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块
https://acoolfish.site/posts/gpu-memory-hierarchy/
作者
ACoolBlog
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
ACoolBlog
在读研究生 · 多模态视频理解 | 记录 Agent、强化学习与 LLM 推理的学习笔记
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
6
分类
4
标签
21
总字数
17,027
运行时长
0 天
最后活动
0 天前
文章目录