群聯的NAND控制晶片，如何協助聯發科提升邊緣AI效能？

Question

Accepted Answer

群聯 NAND 控制晶片整合 aiDAPTIV 技術，顯著提升邊緣 AI 推論效能

群聯電子藉由其專利的 aiDAPTIV Hybrid UFS 解決方案，成功整合了 aiDAPTIV Cache Memory 與 aiDAPTIV Middleware 技術，進而協助聯發科的天璣 9500 平台實現高效的邊緣 AI 推論。此解決方案的核心在於能夠將部分混合專家模型（MoE）的權重動態卸載至 UFS 儲存層，藉此大幅降低對系統 DRAM 的依賴。
突破 DRAM 限制，實現大型模型終端運行

傳統上，運行如 20B（200 億參數）規模的大型語言模型通常需要至少 16GB 的 DRAM。然而，透過群聯的 aiDAPTIV Hybrid UFS 解決方案，能夠將部分模型權重遷移至 UFS 儲存，使得原本需要龐大 DRAM 資源的模型，能夠在僅有 12GB DRAM 的環境下順暢運行。這項技術突破對於在資源受限的終端裝置（如智慧型手機）上部署複雜 AI 模型至關重要，顯著提高了大型模型的終端部署可行性。
aiDAPTIV 技術架構與 NAND 控制晶片協同作用

群聯的 aiDAPTIV Hybrid UFS 解決方案，實際上是其 NAND 控制晶片技術的延伸與應用。NAND 控制晶片作為儲存裝置的核心，負責管理 NAND 快閃記憶體的讀寫操作。在此架構下，群聯的 NAND 控制晶片不僅扮演傳統的儲存管理角色，更透過內建的 aiDAPTIV Cache Memory，提供高速緩存能力，加速模型權重的存取。同時，aiDAPTIV Middleware 技術則負責協調 CPU、DRAM 與 UFS 之間的數據交換，精確地將模型權重分層卸載至 UFS，從而實現高效的異質記憶體管理，這與聯發科天璣 9500 平台的異質運算架構產生了協同效應。
降低功耗與成本，加速邊緣 AI 普及

透過降低對高成本、高功耗的 DRAM 的需求，群聯的解決方案不僅在效能上有所提升，同時也為終端裝置的設計帶來了成本與功耗上的優勢。這對於推動生成式 AI 從雲端走向智慧手機、物聯網等邊緣設備的普及具有關鍵意義。群聯與聯發科的合作，旨在讓 AI 真正融入日常使用的各項裝置，而非僅限於資料中心。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

群聯的NAND控制晶片，如何協助聯發科提升邊緣AI效能？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友