视频加载失败

10 分钟了解 SRAM、L1 Cache、L2 Cache

885 字
4 分钟
10 分钟了解 SRAM、L1 Cache、L2 Cache

本文只是笔者学习之后的思考,不足为道,如果可以,但愿能给你带来点收获。

Q1:SRAM 这个词我觉得好陌生,我之前听的最多是 HBM、Shared Memory、寄存器,它们之间的联系区别是什么?#

SRAM (Static Random Access Memory) 是一种半导体存储工艺(静态随机存取存储器),速度快但密度低、贵。

它是硬件层面上的概念,不同于 HBM、Shared Memory、寄存器这些编程模型中的逻辑抽象。

GPU 芯片
├── SM 0 → 自带一块 SRAM (192 KB) → 这个 SM 内的线程共享 ← 这就是该 SM 的 Shared Memory
├── SM 1 → 自带一块 SRAM (192 KB) → 这个 SM 内的线程共享
├── SM 2 → 自带一块 SRAM (192 KB) → ...
│ ... (A100 有 108 个 SM)
└── SM 107→ 自带一块 SRAM (192 KB)
↓
所有 SM 共享 L2 Cache (40 MB)
↓
HBM (80 GB,片外)

从这个结构知,每个 SM 内部有一块独立的 SRAM,每 SM 的 SRAM 可配成 shared mem + L1。Shared Memory 是 SM 私有的 SRAM 切片。

A100 默认:192 KB shared memory + 128 KB L1 cache(同一块 SRAM 上)。

Q2:L1 cache 又是什么?有什么用?和其他几个概念的联系是什么?#

L1 Cache 和 Shared Memory 物理上是同一块 SRAM 的两个分区,只是管理权限不同。

SM 内部的一块 SRAM (A100: 192 KB shared + 128 KB L1 = 256 KB 总量)
├── Shared Memory (192 KB) ← 程序员显式管理
└── L1 Cache (128 KB) ← 硬件自动管理

L1 Cache 的实际作用(有点超纲了,小白可跳过知道是啥就行了)

  1. 自动缓存寄存器溢出:线程寄存器不够用时数据会 spill 到 L1(叫 local memory),比直接去 HBM 快。
  2. 自动缓存全局内存读:同一个 SM 的多个线程读同一地址时,L1 命中可避免重复走 HBM。
  3. 间接优化算子:好的访问模式能让 L1 命中率高,差的模式(如随机跳读)会让 L1 失效,性能掉到 HBM 带宽。

Q3:L2 cache 是什么?有什么用?和其他几个概念的联系是什么?#

L2 Cache 也是片上缓存(也就是 SRAM 工艺),但它是所有 SM 共享的,用作 HBM 读写的缓冲,由硬件自动管理,程序员一般不直接控制。也就是 L2 Cache 相当于 HBM 的”前置缓存”。当 SM 要读 HBM 里的数据时,数据会先被搬到 L2,下次同样的数据再被读到时,就能直接从 L2 拿,不用再走慢吞吞的 HBM。

L2 Cache 怎么工作#

当 SM 要读 HBM 里某个数据时,硬件自动走这条链:

  1. 先查 L2:如果数据在 L2 里有副本(命中 hit),直接从 L2 取走(1.5 TB/s,不用去 HBM)。
  2. L2 没命中(miss):穿透到 HBM 取数据。
  3. 取回来的同时:数据会被复制一份留在 L2 里。
  4. 下次再读同一块数据:直接命中 L2,省掉一次 HBM 往返。
L2 vs SRAM 的关键区别#

虽然都是片上缓存,但角色完全不同:

  • SRAM (Shared Memory) 是程序员的”工作台”——你明确告诉 GPU 哪些数据要放进来共享、什么时候加载。FlashAttention 的 tile 就是显式塞进 SRAM 的。
  • L2 Cache 是硬件的”自动缓存”——你管不了它存什么。但你能利用它的特性:如果连续两个算子读同一块 HBM 数据(比如 QK^T 之后又要读 S 做 softmax),L2 可能让第二次读命中。

图解 L1、L2、SRAM#

图解 L1、L2、SRAM 存储层级
图解 L1、L2、SRAM 存储层级

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
10 分钟了解 SRAM、L1 Cache、L2 Cache
https://acoolfish.site/posts/sram-l1-l2-cache/
作者
ACoolBlog
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
ACoolBlog
在读研究生 · 多模态视频理解 | 记录 Agent、强化学习与 LLM 推理的学习笔记
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
6
分类
4
标签
21
总字数
17,027
运行时长
0 天
最后活动
0 天前
文章目录