AI INFRASTRUCTURE / 推論記憶體階層
AI 人工智慧NVIDIA 說明 AI 推論記憶體階層：HBM、KV cache 與外部儲存如何協作
NVIDIA 以 AI 工廠為例，說明模型權重、KV cache 與檢索索引會競用有限 HBM，並介紹低精度格式、CPU 記憶體與共享儲存如何協助配置推論資料。
消息重點
- NVIDIA 於 11 月 5 日指出，長上下文和代理多次呼叫工具會增加 KV cache 占用；推論系統除了 HBM 容量，也受記憶體頻寬和資料搬移速度限制。這類負載描述的是大型 AI 伺服器，並非一般 AI PC 的直接規格需求。
- 文章列舉 NVFP4 壓縮模型權重與 KV cache、以 Dynamo 將暫停中的上下文移往共享 CMX 儲存，以及把檢索索引留在 HBM 之外等設計。這些是 NVIDIA 所述的軟硬體整合方法，個別功能的支援範圍依平台與軟體版本而異。
- NVIDIA 引用 SemiAnalysis AgentX 工作負載比較，稱在指定服務速度下，Vera Rubin NVL72 相較 GB300 NVL72 的每美元吞吐最高可達 30 倍，而每 GPU HBM 容量約增加 3%。此為特定平台、模型與基準條件下的 NVIDIA 引述結果，不代表所有推論工作普遍提升 30 倍。
依據：More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge ↗
本站觀察
本站觀察：AI 推論不一定要把所有資料長時間放在最快的 HBM。把正在運算的資料留近端、暫停的上下文移至較大容量層、減少權重表示所需空間，可能提升同一套昂貴加速器可服務的並行請求數；效果取決於延遲容忍度與資料搬移管理。
來源與更正
本文為官方消息摘要及本站觀察，非廠商合作稿，也非本站硬體實測。產品條件與支援範圍以官方最新資料為準。