推理芯片 / AI 算力 (Inference Chips)
主框架出处 78-推理芯片架构图。个股深挖 63-Cerebras;需求侧 86-开源AI算力;供应链错杀 79-Meta元计算。
一句话主线
推理(不是训练)才是真正烧成本的一侧。推理芯片市场不是单一市场:别问「谁比 NVIDIA 快」,要问「谁能更便宜地解决 NVIDIA 昂贵解决的瓶颈」。别猜哪家赢——无论哪派赢,「共同地基」(代工/内存/封装/电力/机架)都随之增长。
三瓶颈 × 四内存阵营(读图法,见 推理三瓶颈)
⭐核心规则:内存放哪决定计算灵活度(拉进片内→计算固定;推到片外→计算自由)。
| 阵营 | 内存策略 | 代表 | 对市场的含义 |
|---|---|---|---|
| SRAM 派 | 片上 SRAM 最大化,避 HBM | Cerebras(晶圆级 44GB)· Groq(230MB 确定性数据流) | 量流向代工硅而非 DRAM;放弃灵活性换延迟 |
| 低成本 DRAM 派 | LPDDR/GDDR 绕开 HBM | d-Matrix(256GB LPDDR5X+DIMC,有机基板绕 CoWoS)· Tenstorrent(GDDR6+RISC-V,IP 授权,Jim Keller「用 HBM 就赢不了」) | 打破「推理普及=HBM 一比一增长」;计算自由度高 |
| 分层派 | SRAM+HBM+DDR 多层 | SambaNova(三层,毫秒换模型)· Positron(FPGA+HBM+DDR5,15 人 15 月出货) | 一颗芯片带多种内存,契合 agent 频繁换模型 |
| HBM 派 | HBM 为核心 | Rebellions(CGRA 144GB,三星/SK 投资)· FuriosaAI(TCP 48GB,LG EXAONE 2.25x/W,拒 Meta $8亿)· Etched(Sohu transformer-ASIC)· MatX(训练+推理) | 三大内存厂需求源;灵活性向中间收敛 |
12 家中多为私有、且会被许可/收购/消失——「猜谁赢是最难也最不重要的问题」。故本表重结构不重个股。
NVIDIA 与超算云的双向夹击(初创的生存空间在中间)
- NVIDIA 从上限制:竞争从芯片抬到机架(Vera Rubin NVL72 集成 GPU+CPU+NVLink+网络);HBM4 带宽 3x 正面解内存墙;CUDA 20 年生态是比性能更大的壁垒;NVLink Fusion 开放互连让对手芯片也跑在自家标准上;许可+挖人收编差异化对手(Groq $20亿)。
- 超算云从下蚕食:TPU/Trainium/Maia/MTIA 无需外卖→不需软件生态/通用性,年增 40%+,或把 NVIDIA 推理份额 90%+→2028 的 20-30%。但锁自家云/SDK(Trainium 只跑 Neuron、TPU 只跑 JAX/XLA),外部迁移要数周-数月。微软 Maia+Vera Rubin 双策略(可预测高量推理给自研,灵活训练/实验给 NVIDIA)。
⭐共同地基:把推理芯片缝进所有主题
无论哪派赢,推理芯片都要过:代工晶圆、内存、封装、电力、机架。而这一切的最上游是设备——晶圆厂扩产/GAA·HBM 转型都要向 ASML/LRCX/AMAT/KLAC/TEL 缴”过路费”(后周期但斜率最陡),详见 半导体设备。
- SRAM 派 → 代工硅(部分内存需求从 DRAM 转向 foundry)
- 避 HBM 派 → DDR5/LPDDR/GDDR(→ 内存周期)
- HBM/分层派 → HBM + CoWoS/CoPoS(→ HBM · CPO)
- 高密度派 → 电力与散热(→ AI数据中心电力,Cerebras 23-27kW 强制液冷)
需求侧:芯片订单会不会见顶?(算力需求)
86-开源AI算力:开源模型不减半导体需求(追 Q 不追 P)。芯片需求 +2.7x/年、内存 bit +3.6x/年;价格地板写进合同(Micron 5 年 SCA/NVIDIA 预付/定制 HBM)。⭐直接接 89-抛售底 的 de-rating 反驳。
供应链地图:Meta 元计算的错杀(79-Meta元计算)
AI 算力 5 层(半导体→服务器制造→集群集成→数据中心运营→算力销售),三判据(谁拥资产/谁担 GPU 过时风险/合约保不保毛利)。过时风险只在 CRWV/NBIS neocloud 收入模型中心。详见 AI基础设施层。
争议点 / 待观察
- decode 顺序模式利好 SRAM 派;但 RAG/MoE/agentic 不规则访问成主流则优势减弱。
- OpenAI/超算云自研 ASIC ramp 速度 = Cerebras/Groq 等外部芯片的空间上限。
- 12 家私有为主,即便押对也难持有——本主题价值在「看每种架构流向哪个组件需求」。
出处
- 78-推理芯片架构图(框架)· 63-Cerebras · 86-开源AI算力 · 79-Meta元计算