HBM、HBF、HBS將如何構建分層記憶體體系？

Question

Accepted Answer

HBM、HBF、HBS 將構建 AI 運算的新型分層記憶體體系

HBM、HBF、HBS 的發展預示著 AI 運算將從單一高效能記憶體轉向更複雜、更具成本效益的分層記憶體架構，以應對日益增長的大模型數據需求。
HBM 成為高速數據處理的基石

HBM（High Bandwidth Memory）透過垂直堆疊 DRAM 顆粒並採用超寬接口，大幅提升了數據傳輸的頻寬與效率，有效緩解了傳統記憶體面臨的「內存牆」（Memory Wall）瓶頸。傳統 DDR 或 GDDR 記憶體因物理距離和接口寬度限制，難以滿足 GPU 對海量模型權重與 KV Cache 的快速存取需求。為了解決此問題，HBM 透過增加並行通道，將狹窄的數據傳輸通道擴展為多車道高速公路。例如，HBM4 將具備 2048 位元的接口，SK 海力士的 HBM4 已展現出 2.54 倍的帶寬提升與超過 40% 的功耗效率改進。NVIDIA 的 H200 更配備了 141GB 的 HBM3E，記憶體帶寬高達 4.8TB/s，顯示出 HBM 在 AI 加速器中已成為不可或缺的高速數據處理基礎設施。
HBF 實現大規模數據儲存的成本效益

儘管 HBM 在速度上表現出色，但其容量、成本及封裝面積仍面臨挑戰。隨著 AI 模型參數與數據量的持續爆炸性增長，將所有數據長期儲存在昂貴的 DRAM 中並不經濟。HBF（High Bandwidth Flash）的概念應運而生，旨在透過高並行方式堆疊 NAND Flash，在接近 HBM 的物理形態下提供更大的儲存容量。Sandisk 提出的 HBF 預計在相近成本下實現 HBM 約 8 至 16 倍的容量，並規劃於 2026 年下半年推出樣品。HBF 雖然讀寫速度較 HBM 為低，但其更大的容量與更低的單位成本，使其特別適合儲存模型權重等讀取頻率較高的「冷數據」，為 AI 推理階段提供更具成本效益的儲存解決方案。
HBS 與 3D 系統構建超低延遲與整合架構

金正浩教授進一步提出 HBS（High Bandwidth SRAM）的概念，旨在利用 SRAM 的超低延遲特性，透過晶圓級、多層堆疊的方式，將其置於最靠近計算單元的極速緩存層。雖然 HBS 目前仍處於早期概念階段，面臨良率、功耗和散熱等嚴峻挑戰，但其潛力在於進一步壓縮數據存取時間。未來，AI 伺服器架構可能不再是簡單的 GPU 搭配記憶體，而是由邏輯晶片、HBM、HBF、HBS 等組成的 3D 系統。在此架構下，HBM 負責高速帶寬，HBF 提供大容量儲存，HBS 則承擔超低延遲緩存，共同協作以實現數據在不同層級間的智慧移動，全面優化 AI 運算的性能與能耗。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

HBM、HBF、HBS將如何構建分層記憶體體系？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友