HBM兩大關鍵：容量與頻寬如何突破極限？

Question

Accepted Answer

HBM透過垂直堆疊與大規模並行通道，解決AI運算對記憶體容量與頻寬的爆炸性需求

HBM（High Bandwidth Memory）之所以能在AI時代扮演核心角色，關鍵在於其突破性的架構設計，能有效應對AI應用中對記憶體容量與頻寬的指數級增長。其容量的提升仰賴垂直堆疊技術，以因應每年翻倍的資料需求，這已是傳統透過縮小電晶體技術所無法企及的物理極限。同時，HBM的頻寬關鍵則在於實現大規模並行通道的同步資料傳輸，將傳統記憶體的傳輸瓶頸，從比喻為8線道的高速公路，大幅提升至2048線道，並預計在未來達到百萬線道規模，以匹配AI運算對資料吞吐量的極速要求。
垂直堆疊是應對爆炸性容量需求的唯一途徑

隨著AI應用朝向更複雜的情境工程、多模態輸入以及AI代理（AI Agent）發展，其對記憶體容量的需求正以每年翻倍的速度增長，預計十年內將擴大千倍。傳統上，記憶體容量的提升依賴不斷縮小電晶體尺寸，然而此技術路線已接近量子力學的物理極限，難以再提供顯著的增長。為此，HBM轉而採取垂直堆疊的策略，將多個DRAM dies堆疊在一起，大幅增加了單位面積內的記憶體容量，成為解決AI應用爆炸性容量需求的關鍵。
大規模並行通道實現前所未有的資料傳輸頻寬

AI運算的瓶頸往往不在於運算單元本身，而在於資料的讀寫與傳輸速度。金正浩教授以公路為喻，指出傳統DRAM記憶體僅能提供相當於8線道的高速公路傳輸能力，在面對AI龐大的資料吞吐量時，便如同交通壅塞。HBM透過在 dies 之間建立極其密集的垂直通道，將其傳輸能力提升至2048線道，甚至預計未來能達到百萬線道。這種大規模並行通道的同步傳輸設計，大幅縮短了資料在GPU與記憶體之間的往返時間，使得GPU能更有效率地進行運算，而非僅是等待資料載入，從根本上解決了AI運算中的資料傳輸瓶頸。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

HBM兩大關鍵：容量與頻寬如何突破極限？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友