美光與輝達的合作，將為下一代 AI 運算帶來什麼樣的記憶體解決方案？

Question

Accepted Answer

美光與輝達合作，以 SOCAMM2 模組重塑 AI 伺服器記憶體架構

美光與輝達的緊密合作，正透過推出業界首款單一 256GB SOCAMM2 記憶體模組，為下一代 AI 運算注入革命性的記憶體解決方案。這項技術突破不僅顯著提升了記憶體容量與效能，更重要的是，它策略性地填補了現有高頻寬記憶體 (HBM) 與傳統 DDR 記憶體之間的效能與成本落差，為 AI 伺服器在處理日益龐大的語言模型與複雜推理任務時，提供了更具經濟效益且效能卓越的選擇。
SOCAMM2 模組以模組化設計與 LPDDR5X 技術，實現效能與功耗的黃金平衡

美光此次推出的 256GB SOCAMM2 記憶體模組，搭載了全球首款單晶片 32Gb LPDDR5X DRAM 顆粒，相較於前一代最高 192GB 的產品，容量大幅提升了約三分之一。此模組不僅延續了 LPDDR5/5X 標準的低功耗特性，更整合了 CAMM（Component Access Memory Module）模組化架構，使其在節省空間與易於維護方面具備顯著優勢。這種設計使其成為填補 HBM 與 DDR 之間效能與成本真空的關鍵。在大型語言模型 (LLM) 長文本推理的應用場景中，這款新模組能將「首字生成時間」加速至原先的 2.3 倍，大幅提升了 AI 模型的反應速度。
輝達 Vera Rubin 平台將導入 SOCAMM2 標準，確立新一代 AI 運算記憶體藍圖

此次合作的具體成果將體現在輝達下一代 AI 超級運算平台 Vera Rubin 上。該平台將成為首批採用 SOCAMM2 記憶體標準的產品之一，這意味著 SOCAMM2 不僅是美光的一項技術展示，而是將成為未來高效能運算與 AI 伺服器記憶體架構的重要組成部分。SOCAMM2 模組的低功耗特性，在僅使用 CPU 的應用情境下，能將能源效率提升高達 3 倍，這對於需要大規模部署的 AI 伺服器而言，具有重大的節能效益與營運成本降低潛力。美光預計在 GTC 2026 大會上正式向業界展示這項技術的完整實力。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

美光與輝達的合作，將為下一代 AI 運算帶來什麼樣的記憶體解決方案？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友