RLHF（基於人類反饋的強化學習）在大型模型訓練中扮演何種核心角色？

Question

Accepted Answer

RLHF是讓AI更像人的關鍵環節

RLHF（基於人類反饋的強化學習）是大型模型訓練中最核心，同時也是成本最為高昂的環節。其主要目的在於透過真人對AI生成的回答進行評分，從而指導AI學習哪些回答更佳，並使其更符合人類的價值觀和情感偏好。換句話說，RLHF就像是為AI提供了一位人類老師，教導它如何更好地理解和回應人類的需求。

RLHF仰賴大量標註員進行情感與價值觀訓練

ChatGPT之所以能夠展現出「像人」的對話能力，背後仰賴著無數RLHF標註員的辛勤工作。這些標註員需要對AI的回應進行主觀的情感評分，判斷其是否溫暖、是否具有同理心，以及是否充分照顧了使用者的情緒。然而，這些標註員往往是那些在現實生活中為了生計奔波，甚至無暇顧及自身情緒的底層工作者，他們卻需要在系統中扮演AI的情感導師和價值觀裁判。

情感量化與標準化可能導致認知抽空

這些標註員需要將複雜且微妙的人類情感，如溫暖和同理心，強行拆解並量化成1到5的冰冷分數。如果他們的評分與系統設定的標準答案不符，就會被判定為不達標，進而扣減原本就微薄的計件工資。這種過程可能導致認知抽空，原本鮮活的人類情感、道德與悲憫，在冰冷的量化與標準化刻度中被逐漸榨乾。

AI進化伴隨新型勞動剝削與階層折疊

隨著AI技術的不斷進化，其對數據的需求也從簡單的常識轉向了人類的專業知識和高階邏輯。這使得許多擁有高學歷的名校研究生也被吸引到AI標註的產業中，但他們很快發現，這並非輕鬆的腦力運動，而是一場精神折磨。面對不固定的標準和難以捉摸的評分方式，他們只能不斷消耗腦力和體力，卻難以提升正確率。在這種情況下，知識淪為了供奉給算法的數字草料，高學歷人才與底層勞動者殊途同歸，一同跌落進賽博礦坑，成為隨時可以被替換的廉價齒輪。

AI發展的代價是底層勞工的血汗與失業風險

儘管AI產業的市場規模預計將在未來幾年內達到千億美元，但這些財富並未流向那些真正「餵養」AI的人。在資料標註行業的倒金字塔結構中，科技巨頭、大型資料服務供應商和資料標註基地層層盤剝，最終落到標註員手中的報酬微乎其微。更令人擔憂的是，隨著AI能力的提升，原本需要人工完成的標註任務正逐漸被AI自己接管，這意味著那些曾經為AI發展付出巨大努力的底層勞工，正面臨著失業的風險。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

RLHF（基於人類反饋的強化學習）在大型模型訓練中扮演何種核心角色？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友