1月29日消息，伴随代理式AI应用的迅速拓展，AI系统在内存方面的需求正经历结构性变化。
据报道，AMD和高通正在评估在下一代AI产品和机架架构中引入SOCAMM内存模块。
SOCAMM起初被看作是专门为NVIDIA打造的内存标准，和传统焊接在主板上的LPDDR不一样，它运用模块化设计，能够进行更换和升级，并且在容量、功耗以及系统弹性之间实现了平衡。
在代理式AI架构里，模型得长时间保持上下文、状态以及任务记忆，这就导致系统对短期且大容量内存的需求明显提升。
相较于单纯依赖HBM，业界正逐步认识到有必要引入另一层能在成本、功耗与容量之间达成平衡的内存设计，所以SOCAMM得到了广泛的关注。
相关人士表示，SOCAMM能够使单一CPU或加速器平台的内存容量配置达到TB级别，从而让AI agent可以同时保持数百万个token处于活跃状态。
虽然它的带宽和吞吐量比不上HBM，但在功耗效率与系统扩展性上存在优势，被认为是适合和HBM搭配运用的内存层级。
市场消息还显示，AMD和高通在SOCAMM的模块设计上可能采取与NVIDIA不同的路线。
这两家公司正评估把DRAM配置成方形模块的形式，同时将PMIC（电源管理IC）直接整合到模块本体上，这样就能在模块端完成电源调节。
在产品推进进度上，NVIDIA已规划在旗下Vera Rubin中导入新一代SOCAMM 2，并且预计随着出货量的逐步提升，SOCAMM有望成为AI系统的关键内存配置选项之一。
此前另有消息显示，NVIDIA已就SOCAMM的年度需求向DRAM厂商提交规划，其中三星为主要供应方，SK海力士次之，美光则排在第三位。
