内存分层 / SSD 当内存 / NAND 控制器
AI 推理让 KV Cache 撑爆昂贵的 HBM/DRAM → 把便宜大容量的 SSD 拉进内存阶层当”DRAM 延伸”。这把过去被商品化的 NAND 控制器从”成本项”重估为”差异化项”。是 内存周期 的存储层，也是 内存税 的绕道赛道（HBF/预测分层/模块创新）落到 NAND 侧的实现。
为什么 SSD 被拉进内存层
- Prefill / Decode：Prefill（读提示、做笔记）高并行、GPU 利用率冲九成；Decode（逐字写）每字要回翻 KV Cache，GPU 常在等数据。KV Cache 极大（几千字对话 >1GB × 长上下文 × 并发用户）→ 塞爆 HBM。
- HBM 太贵太缺：每 GB HBM 耗 ~3x DDR5 晶圆产能 → 抽干标准 DRAM（呼应 HBM）。出路：让 SSD 扮演 DRAM 角色。
- 不减 DRAM 需求（Jevon’s Paradox）：SSD 接走部分 KV Cache 后，DRAM 被释放去做更需低延迟的任务，总需求不一定降。
NVIDIA CMX 内存分层架构
在 DRAM（G2）与传统存储之间硬造 G3.5「脉络记忆体层」= 高速 NVMe SSD 阵列。四角色：
- 软件指挥官 Dynamo + NIXL（预判要用的 KV，提前从 CMX 搬回）
- 硬件快递员 BlueField-4 DPU（“第三颗大脑”，RDMA 绕过 CPU + 内存↔存储语义翻译 4K→512B + 硬件加密）
- 空间规划师 Grove ｜ 高速气送管 Spectrum-X 以太网
- 竞品：AMD 2026-06 收 MEXT（AI 预测哪些数据将用、提前从 SSD 搬到 DRAM = 预测分层）。
为什么 NAND 非要控制器不可
NAND=摩天楼（3D 堆 200-300+ 层，便宜）vs DRAM=平房（电容，快贵）。裸 NAND 三大毛病（会磨损/不能直接覆写/随时写错）→ 必须配 控制器 + FTL（wear leveling / garbage collection / ECC）。AI 时代控制器新要求：IOPS 6M→100M（~20x）、颗粒度 4K→512B（NVIDIA 主导）、QoS 稳定、与 DPU/软件主动协作 → 从”被动管理”变”主动协作”，从”够用就好”变差异化。
两大阵营
- 垂直整合 NAND 巨头：Samsung / SK hynix(Solidigm) / Micron / Kioxia / SanDisk（颗粒+控制器一手包）。
- 独立控制器 + ODM”民主联军”：Phison 群联、SIMO 慧荣 + Kingston/Corsair/广达/纬颖/Supermicro。为何 SSD 容得下独立商而 DRAM 几乎没有？物理：DRAM 电容对制程极敏感逼垂直整合；SSD = 颗粒(重资产)+控制器(轻资产算法)天然可分。
- 其他：MRVL Marvell（高阶数据中心定制 ASIC 控制器）、FADU（韩国 AI 原生控制器）。
NVIDIA 对 HBM vs SSD 的两种态度
HBM 层封闭（决定 GPU 算力上限，深绑少数内存厂）；SSD 层开放（CMX 开放标准让生态竞争）→ 目的是压低 SSD 成本、把利润留给自家 GPU/网络芯片，同时给 ODM/独立控制器”军火库”机会。
现状与待观察
CMX/STX 目前只服务高阶 AI 机柜，规格（外型/最小存取单位/接口协议）未定案，规模供货 2026 H2 起（NVIDIA Rubin H2 2026 部署）。规则未定 = 独立控制器早进参考设计就能参与定标准。