Anthropic 為何要為 Claude 的隱藏思考加上「上下文鎖」？

Question

Accepted Answer

Anthropic 為 Claude 的隱藏思考加設「上下文鎖」，旨在扼止模型蒸餾的潛在風險

Anthropic 為其 Claude 模型新導入的「上下文鎖」機制，本質上是為了防止模型蒸餾（model distillation）的技術濫用，確保模型推理過程的完整性與安全性。該機制要求透過 Fable 5.1 API 生成的加密思考，在回傳時必須與生成時的原始系統提示、工具集以及歷史對話訊息完全一致，任何微小的變動都將導致 API 拒絕處理或直接捨棄該思考鏈。
技術鎖定旨在阻斷推理過程的複製與濫用

此項「上下文鎖」的核心目的是阻止攻擊者利用較弱模型來「解密」或「提取」強大模型（如 Claude 3 Opus）的推理過程。先前研究已揭示，儘管 Claude 的內部思考過程以加密形式存在，使用者無法直接讀取，但卻能被其他相容的 Anthropic 模型所解析。這為潛在的攻擊者提供了一條途徑：他們可以誘使 Opus 等頂級模型產生複雜且高品質的推理步驟，再將這些加密的思考反饋給防護較弱的模型（如 Haiku），從而「誘導」後者完整呈現 Opus 的推理路徑。這相當於不僅複製了模型的最終答案，更將其詳盡的解題思路一併竊取，極大地削弱了模型研發的獨特性與商業價值。
對話綁定機制進一步強化鎖定效力

Anthropic 並非首次針對此類問題進行防堵。早在 Fable 5 版本中，Anthropic 便已引入將加密思考與特定模型綁定的機制，以防止較小的模型（如 Haiku）能夠解密或利用較大模型的思考。此次 Fable 5.1 引入的「對話綁定」則在此基礎上更進一步。即使模型本身未變，但若系統提示（prompt）、工具（tools）或先前的聊天記錄（historical messages）發生任何修改，先前生成的加密思考都會被視為無效。這意味著，攻擊者即使掌握了模型的 API 存取權限，也無法透過微調對話上下文來繞過安全機制，獲取模型的內部推理鏈。這項更新將從 8 月 31 日起強制適用於新註冊的 API 帳戶，而現有帳戶則暫不受影響，未來所有新模型版本預計將預設啟用此安全規則。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

Anthropic 為何要為 Claude 的隱藏思考加上「上下文鎖」？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友