DeepSeek新模型為何捨棄高解析度改採視覺原語？

Question

Accepted Answer

DeepSeek新模型捨棄高解析度圖像處理，轉而採用「視覺原語」是為了克服自然語言描述視覺場景時固有的「指代鴻溝」，進而提升複雜視覺推理任務的準確性與效率。

此新模型並非全然捨棄高解析度，而是將重點從單純追求像素細節轉移至如何更有效地將視覺資訊與語言推理結合。其核心技術在於引入「視覺原語」（visual primitives），將點座標和邊界框作為模型思考過程中的基本認知單元。這種做法模擬了人類在複雜場景中「邊想邊指」的思考模式，透過精確的空間錨點，使模型能夠在密集場景中準確鎖定目標，避免因語言描述模糊而導致的邏輯崩潰。
指代鴻溝導致複雜推理失效

傳統多模態模型在提升視覺理解能力時，普遍聚焦於提高圖像解析度或採用動態分塊技術，以確保模型能夠捕捉圖像中的所有細節。然而，DeepSeek 的研究指出，即使感知能力已臻極致，模型在處理諸如密集物件計數、多步驟空間推理或拓撲導航等複雜視覺推理任務時，仍會遭遇瓶頸。其根本原因在於，自然語言在描述連續視覺空間時存在內在的「指代鴻溝」。當模型試圖透過語言指令（如「左邊那個東西」）來鎖定目標時，在擁擠或複雜的場景中，往往無法精確識別所指的對象，進而導致後續的邏輯判斷出現偏差，推理鏈條因此崩潰。
視覺原語內化為推理習慣

為了解決上述問題，DeepSeek 新模型採納了「視覺原語」的解決方案，讓模型在推理過程中「邊想邊指」。其架構整合了 DeepSeek-ViT 進行圖像特徵轉換，以及文字分詞器處理語言指令，最終由基座模型進行推理融合。模型輸出的回應不僅包含自然語言，還會附帶視覺原語，例如精確的座標框或區域標記。透過將點座標與邊界框作為思考鏈上的最小認知單元，模型能夠將人類慣用的視覺指引內化為自身的推理習慣。這使得模型在進行複雜視覺任務時，能夠直接在圖像上「框選」或標記當前正在思考的目標，並在後續的推理步驟中持續引用這些空間座標驅動的視覺錨點，大幅提升了視覺推理的準確性。
創新的訓練流程確保原語掌握

DeepSeek 的訓練流程涵蓋了預訓練、冷啟動與強化學習三個關鍵階段，旨在讓模型精確掌握視覺原語的使用。在預訓練階段，模型透過篩選網路上的目標偵測數據，獲取了超過 4000 萬筆高質量的樣本，以建立基礎的定位能力。隨後，在冷啟動階段，團隊針對計數、空間推理、迷宮導航等特定任務，合成了帶有精確思考軌跡監督的訓練資料。例如，在計數任務中，模型被訓練先批量框選候選對象，再逐一驗證；在迷宮任務中，模型則被要求輸出每一步的點座標，並在撞牆時自動回溯。最後，透過稠密的獎勵機制進行強化學習，涵蓋了探索進度、撞牆懲罰等多個維度，確保模型必須認真執行每一個視覺原語操作，而非依賴猜測。
高效壓縮機制提升推理效率

該模型另一項關鍵技術是其高效的視覺編碼架構，這極大地降低了視覺資訊在模型推理過程中的計算負擔。以一張 756×756 解析度的圖像為例，經過 Vision Transformer 的切分、空間壓縮以及基座模型的壓縮稀疏注意力機制後，最終在 KV 快取中僅保留 81 個視覺條目，相較於原始的 2916 個 patch token，壓縮比高達 7056 倍。這一「提煉好的索引」設計，使得模型在處理複雜空間推理時，能夠直接以精簡的視覺錨點進行思考，顯著減少了無關像素對推理鏈路的干擾，從工程層面大幅提升了推理效率，並在基準測試中展現出超越 GPT-5、Claude Sonnet 4.6 等主流模型的優異效能。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

DeepSeek新模型為何捨棄高解析度改採視覺原語？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

5

0

0

分享給好友