她写了 14 页论文被 Google 开除,五年后所有 AI 风险预言全部命中

2020 年,Timnit Gebru 因拒絕撤下一篇警告 AI 系统风险的論文而被 Google 开除。五年后,那篇 14 頁文章裡的五个核心预言,幻覺、偏见、碳排、资料汙染、语言中心化,全數命中。
(前情提要:AI 与 ChatGPT 机器人为何越来越差?Nature 研究:模型越大沒幫助)
(背景補充:史丹佛报告:AI 耗电达比特币挖礦一半,中美模型差距僅剩 2.7%)

本文目錄

Toggle

  • 14 頁,五類系统性风险
  • 五个预言,五組现实对照
  • 最深的预言,从第一天就成真了

一篇 14 頁的学術論文,让她失去了工作…。2020 年 12 月,Timnit Gebru 还在休假,卻收到一封 email,告知她已被 Google 解雇。当时她的身份是 Google 倫理 AI 團队共同负责人。

她被开除的原因,是 Google 要求她撤掉或拿掉員工掛名的一篇論文。那篇論文在她离職后三个月,於 2021 年 3 月正式刊登於 ACM FAccT 研討会。標題是〈論随机鸚鵡的危险:语言模型会不会太大?〉,六位共同作者中有四位是 Google 員工,另一位以化名「Shmargaret Shmitchell」掛名,本名 Margaret Mitchell,后来同樣遭到 Google 解雇。

五年后回头看,这篇文章的每一个核心警告,都在现实中找到了对应的案例。

14 頁,五類系统性风险

〈随机鸚鵡〉論文的核心主張,是大型语言模型(LLM)在結構上存在五類系统性风险:幻覺与无理解、偏见放大、環境成本、訓練资料无法稽核、以及语言中心化導致低资源语言劣化。但論文真正最深的一條論点,是这五條之所以难以被解決的根本原因。

論文明確指出:打造 LLM 的公司,其财務与競爭誘因在結構上不可能让「安全与倫理」拖慢产品上線速度。簡單来说就是,只要市场競爭夠激烈、资本壓力夠大,任何公司都会在「快点上線」和「做得夠安全」之间傾向前者。

Gebru 被开除这件事本身,就是最直接的注腳。她提出的是一份帶引用的研究檔案;Google 的回应,是要求她拿掉員工掛名或撤稿。她拒絕,然后在休假中收到开除通知。

五个预言,五組现实对照

预言一:流暢但无理解

論文在 2021 年就描述了后来被稱为「幻覺」的现象:LLM 只是依照机率把语言形式縫在一起,「沒有任何对意義的指涉」。聽起来通順,不代表说的是真的,这就是今天每个 AI 用戶都遇过的问題。

预言二:偏见放大

論文警告,用歷史资料訓練的模型会系统性地複製既有偏见。Amazon 从 2014 年开发的 AI 招募工具,到 2018 年因系统性歧視女性应徵者被廢棄,模型从以男性为主的歷史履歷中学到「優秀工程師」的樣子,導致含「women’s」字樣的履歷自动扣分。

Obermeyer 等人 2019 年发表於《Science》的研究則揭露,一个廣泛使用的醫療风险演算法以「醫療花费」替代「病情嚴重程度」,導致相同风险分數下黑人病患实际病情更重;修正后,被標記需要額外照護的黑人病患比例將从 17.7% 提高到 46.5%。

预言三:環境成本

論文引用 Strubell 等人 2019 年的研究,警告訓練成本被低估。这个論点后来被流傳为「訓練一个模型等於 5 輛车終身排放」,但需要釐清:那是使用神经架構搜尋(NAS)这个極端情境下的數字,约 284 公噸 CO₂e,並非每个模型的普遍情況。

真实的后续发展更令人不安。Google 2024 年環境报告顯示,2023 年溫室气體排放达约 1,430 万公噸 CO₂e,较 2019 年基準增加 48%,主因是 AI 帶动的资料中心用电大幅攀升,直接威脅 Google 原訂的 2030 年碳中和目標。

预言四:訓練资料无法稽核

論文警告,網路規模资料集太大,有害內容会混入而不被发现。2023 年 12 月,史丹佛網路觀測站在 LAION-5B 资料集中找到 3,226 筆疑似兒少性虐待內容(CSAM),其中 1,008 筆经外部机構確认。LAION-5B 是包含 58.5 亿組圖文对的公开爬取资料集,曾用来訓練 Stable Diffusion,事件曝光后随即下架。規模越大,盲点越大。

预言五:语言中心化

論文指出英语为主的语料庫会造成语言能力落差。这个预言后来衍生出一个被扭曲的说法:「57% 的新英文網頁是 AI 生成」,这是错的。Thompson 等人 2024 年的研究分析了 63.8 亿个句子組成的網路语料庫,发现其中 57.1% 的句子屬於多语平行集合,也就是很可能是机器翻譯产生的低品质重複內容,且在低资源语言中比例尤高。

低资源语言的處境不只是被忽視,而是正在被劣质机器翻譯的产物汙染,这正是 Gebru 原始预言的核心。

最深的预言,从第一天就成真了

五个预言,每一个都在现实中找到了对应案例,时间从 2018 年到 2024 年不等。但論文最核心的主張,从来不是「AI 会出问題」这種模糊警告,而是「整个系统被设计成无法自我修正」。

誘因決定行为。当競爭壓力要求快速上線,当公开提出安全疑慮可能让整个團队工作被停下来,理性的选擇就会是沉默。Gebru 的案例在 AI 研究社群留下一个清晰訊號:公开提出安全质疑,可能毀掉職涯。这个寒蟬效应,本身就是論文警告的机制在运作。

重点不是她每个細節都猜中了。重点是,她描述的那个系统,競爭誘因壓过倫理審查、規模壓过可稽核性、速度壓过安全,五年来沒有根本性地改變。而这个最深的预言,从她收到那封开除 email 的那一刻起,就已经完成验证了。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论