AI模型參數增加，是否會帶動對記憶體容量的更高需求？

Question

Accepted Answer

AI 模型參數增長將持續推升記憶體需求，開源模型反成催化劑

AI 模型參數的增加，特別是活躍參數的增長，並不會如先前市場擔憂般降低對記憶體容量的需求，反而可能因為開源模型的普及，進一步催生對記憶體硬體配置的廣泛需求。儘管模型架構的效率提升能優化運算強度，但模型權重與活躍參數的絕對數量仍是決定記憶體容量的關鍵因素。
模型參數演進：記憶體的「使用量」而非「消耗量」

模型參數，作為 AI 學習與辨識模式的變數，本質上是模型運行時所需的「記憶」載體。以 Kimi K3 模型為例，其龐大的 2.8 兆總參數中，有約 500 億活躍參數，這意味著在模型運行與推論階段，需要配置足夠的記憶體來容納這些活躍參數，以確保運算效率與準確性。因此，當模型參數規模持續擴大時，對記憶體容量的需求並非線性下降，而是保持穩定甚至增長，因為更多的參數意味著模型「記憶」的擴展，而非單純運算能力的提升。
開源模型普及化：硬體配置需求的新增長點

開源模型生態的發展，特別是中國企業如 Moonshot AI 推出的 Kimi K3，正為記憶體市場帶來新的增長動能。相較於封閉式模型，開源模型的商業模式通常鼓勵開發者自行下載與部署。每當有一個企業選擇下載並運行這些開源模型，就必須自行配置所需的硬體與記憶體資源。這種分散式的部署模式，相較於集中式的雲端服務，將會創造更廣泛的硬體採購需求，尤其是在記憶體領域。
記憶體產業展望：HBM 之外的潛在需求

儘管市場高度關注高頻寬記憶體 (HBM) 在 AI 晶片中的應用，但其他類型的記憶體，如動態隨機存取記憶體 (DRAM)，其需求依然強勁。中國廠商如長鑫存儲在 DRAM 產能上的擴張，若能有效滿足市場需求，將有助於穩定記憶體價格。然而，分析師指出，長鑫存儲並未聚焦於當前需求最旺盛的 HBM，這意味著其產能擴張對 NVIDIA 等 AI 晶片製造商的直接影響有限，但對於廣泛部署開源模型的企業端硬體配置，DRAM 的穩定供應依然至關重要。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

AI模型參數增加，是否會帶動對記憶體容量的更高需求？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友