AI模型參數量激增下，HBF技術如何突破DRAM與HBM的容量與成本瓶頸？

Question

Accepted Answer

HBF 技術透過 NAND 架構的低成本、高密度特性，為 AI 模型參數激增提供新的儲存解方

高頻寬快閃記憶體 (High Bandwidth Flash, HBF) 技術的出現，正為當前 AI 運算面臨的記憶體容量與成本雙重瓶頸開闢新途徑。HBF 巧妙地結合了高頻寬記憶體 (HBM) 的高速傳輸能力與傳統 NAND 架構的大容量優勢，其設計目標是提供一種介於 HBM 和固態硬碟 (SSD) 之間的全新儲存層級，以應對日益龐大的 AI 模型參數需求。
HBF 結合 NAND 架構，實現接近記憶體級的存取速度與龐大容量

HBF 的核心突破在於其底層採用的 NAND 架構。與 DRAM 或 HBM 不同，NAND 技術在生產成本和密度上具有顯著優勢，這使得 HBF 能夠以較低的單位成本實現極大的儲存容量。根據最新發布的標準規範，HBF 支援 8 層和 16 層 NAND 晶片的堆疊，最高可提供高達 512GB 的單一儲存單元容量。更重要的是，HBF 在設計上力求在保有 NAND 大容量的同時，將資料傳輸速率提升至接近記憶體的水平。標準中定義了三個頻寬等級 (Grade 1 至 Grade 3)，其資料傳輸速率介於約 0.4TB/s 至 3.0TB/s 之間。這樣的設計，使其能夠有效緩解 AI 訓練與推理過程中，由於模型參數過大而導致的「記憶體牆」問題，確保處理器能更快地存取所需數據，進而提升運算效率。
HBF 的結構性設計，預示著伺服器儲存架構的重塑

隨著 AI 模型規模的持續擴大，現有的 DRAM 和 HBM 在容量擴展性和成本效益上面臨越來越嚴峻的挑戰。HBM 雖然提供了極高的頻寬，但其成本相對較高，且單一封裝內的容量擴充性也有限。SSD 雖然容量巨大且成本低廉，但其存取延遲遠高於記憶體，無法滿足 AI 運算對即時性的嚴格要求。HBF 正是填補了這個關鍵的技術空白。它透過 NAND 的低成本、高密度特性，大幅降低了 AI 伺服器部署大規模記憶體的門檻，同時透過先進的封裝和傳輸技術，盡可能地縮小了與 HBM 在速度上的差距。這種獨特的定位，預計將促使未來伺服器儲存架構發生顯著改變，為 AI 應用的蓬勃發展提供更強大的基礎設施支持。首批 HBF 樣品預計於 2027 年上半年問世，並將在 2027 年起逐步導入主流 AI 伺服器市場，標誌著這一新技術的商業化進程已進入倒計時。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

AI模型參數量激增下，HBF技術如何突破DRAM與HBM的容量與成本瓶頸？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友