随着英伟达(NVIDIA)Vera Rubin平台的量产规模不断扩大,其对供应链的影响已开始在TLC NAND现货市场等环节显现。经历了6月份的低谷后,512Gb TLC NAND的现货价格目前已强势回升至21美元,而QLC的价格则保持平稳。业内分析指出,这一价格上涨趋势完全符合逻辑,主要由英伟达技术升级及市场需求增长两大因素驱动。

首先,为了处理人工智能模型在分析输入提示词时产生的KV缓存,英伟达在Vera Rubin平台中引入了上下文内存扩展(CMX)技术。CMX在HBM(高带宽内存)和传统后端网络存储之间构建了一个中间存储层,相当于一个巨大的TLC闪存池。该闪存池通过英伟达BlueField-4 DPU连接到Rubin GPU集群,并在超高速Spectrum-X以太网下运行。在这个过程中,DPU充当了实时处理KV缓存的“智能大脑”。数据显示,单台2U CMX服务器可容纳高达600TB的TLC闪存,其内部的四个DPU各管理150TB的上下文内存,而整个机柜级别的容量更是达到了惊人的9600TB(即9.6PB)。