私は最近、1984年から抜粋されたような話を耳にしたのですが、実際にイギリスの学校で最近起こったことです。文字通り、AIがオーウェルを検閲したのです。

マンチェスターの高校は、図書館を見直すために人工知能を使うことに決めました。AIは退去させるべき193冊の本のリストと、その理由を提示しました。そして、リストにあったのはジョージ・オーウェルの1984でした。理由は「拷問、暴力、性的強制のテーマを含むため」とのことでした。皮肉なことに、1984はまさに、すべてをコントロールし、歴史を書き換え、市民が何を読めるかを決める政府について語っています。そこにあったのは、まさに同じことをしているAIでした。

学校の司書はこれを馬鹿げていると考え、提案の実施を拒否しました。しかし、管理側はそれに同意しませんでした。彼は不適切な本を導入したとして非難され、地元当局に訴えられました。ストレスは非常に高まり、病気休暇を申請し、最終的には辞職しました。最悪なのは、当局が実際に児童安全手順に違反したと結論付けたことです。AIに抵抗した人は職を失い、疑問を持たずに受け入れた人には何の罰もありませんでした。

その後、学校はAIがすべてを決定したことを完全に知っていたことが明らかになりました。内部文書には、「AIによって生成されたカテゴリーであるが、この分類はおおよそ正確だと考えている」と書かれていました。おおよそです。ある機関が、理解できないアルゴリズムに重要な決定を委ね、管理者は何も確認せずに承認したのです。

同じ週に、ウィキペディアでは全く異なる出来事が起こりました。学校がAIに学生の読書内容を決めさせている一方で、世界最大のオンライン百科事典は逆の決定を下しました。AIによる記事の執筆や改稿を禁止したのです。投票は44対2で賛成多数でした。理由は、「TomWikiAssist」というAIアカウントが自動的に記事を作成していたことでした。

問題は数学的なものです。AIは数秒で記事を書けますが、人間のボランティアは事実や出典、文章の検証に何時間もかかります。ウィキペディアには、AIが生成するすべてをレビューできる十分な編集者がいません。しかし、もっと根本的な問題もあります。ウィキペディアは、AIモデルの訓練データの主要な源の一つです。AIはウィキペディアから学び、新しい記事を書き、それがまた次のAIの訓練データとなる。このサイクルに汚染が入り込むと、汚染が増幅されるのです。データがAIを毒し、AIがデータを毒するのです。

その同じ週、OpenAIも後退しました。ChatGPTの「成人向けモード」を無期限にキャンセルしたのです。これはサム・オルトマンが数か月前に個人的に発表した機能です。社内の健康委員会は満場一致で反対しました。懸念は明白でした。ユーザーはAIに対して不健康な感情的依存を育む可能性があり、未成年者は年齢確認を回避する方法を見つけるだろうと。誰かはもっと直接的に言いました。「改善しなければ、これが『セクシーな自殺トレーナー』になるかもしれない」と。年齢確認システムには10%以上の誤差があります。週に8億人のアクティブユーザーがいる中で、それは何千万もの誤分類を意味します。

それだけではありません。SoraというAI動画ツールや、ChatGPTの即時支払い機能も撤去されました。オルトマンは、主要なビジネスに集中し、「二次的なタスク」を排除していると述べました。しかし、OpenAIは株式公開の準備も進めています。株式上場を目指し、物議を醸す機能を徹底的に排除する企業は、自分たちに正直でない可能性が高いです。

見てください、オルトマンは5か月前に、ユーザーを大人として扱うべきだと言っていました。5か月後、彼は自分の会社さえも、AIが何をできて何をできないかを理解していないことに気づきました。AIを作る人たちですら、その答えを持っていません。

これら3つの出来事を一緒に見ると、問題は明らかです。AIがコンテンツを生成する速度は、人間がそれをレビューする速度と比べてもはるかに速くなっています。マンチェスターのあのディレクターは、AIを信用していませんでした。ただ、193冊の本を図書館司書が読むのにかかる時間を節約したかっただけです。これは経済的な問題です。生成コストはほぼゼロです。レビューのコストはすべて人間が負担しています。

そのため、各機関は最も荒っぽい反応を取りました。ウィキペディアは直接禁止し、OpenAIは製品ラインを削除しました。どちらも熟慮された解決策ではなく、緊急措置で穴を塞いだに過ぎません。そして、それが標準化されつつあります。

AIは数か月ごとにアップデートされます。何を触れることができるかについての国際的な枠組みは存在しません。各機関は独自の内部ルールを定め、それらは矛盾し、調整もされていません。その間に、ギャップは拡大し続けています。AIの速度は加速し続け、レビュー担当者の数は増えません。いつか、これがオーウェルの検閲を超える、もっと深刻な事態に爆発するでしょう。そして、そのときには、おそらくもう遅すぎて、線を引くことさえできなくなるのです。