AIの判断に抵抗する人は職を失い、AIの判断に署名して同意した人には何の影響もない。著者：クリー、深潮 TechFlow先週、イギリスのマンチェスターの中学校が自校の図書館をAIで審査した。AIは193冊の書籍の撤去リストを作成し、それぞれに理由を添えた。ジョージ・オーウェルの『1984年』もリストにあり、「拷問、暴力、性的脅迫のテーマを含むため」とされた。『1984年』は、政府がすべてを監視し、歴史を書き換え、市民が何を見て何を見てはいけないかを決める世界を描いている。今、AIは同じことを学校のために行ったが、おそらく自分が何を言っているのか全く理解していない。この学校の図書館司書はこれを不合理だと感じ、AIの提案をすべて拒否した。その後、学校は「児童の安全」を理由に内部調査を開始し、不適切な書籍を図書館に導入したとして彼女を非難し、地方政府に通報した。彼女はストレスで休職し、最終的に辞職した。荒唐無稽なのは、地方政府の調査結果が彼女が児童安全手順に違反したと認定し、訴えが認められたことだ。イギリスの学校図書館協会の会長、キャロリン・ロチェは、この結論は彼女がもはやどの学校でも働けなくなることを意味すると述べている。**AIの判断に抵抗した人は職を失い、AIの判断に署名した人には何の影響もない。**その後、学校は内部文書で、すべての分類と理由はAIが生成したものであると認め、「分類はAIによるものだが、概ね正確だと考えている」と記した。ある学校は、「どの本が学生に適しているか」という判断をAIに委ねたが、AIは自分でも理解できない答えを返し、それを人間の管理者が確認もせずに承認した。この件はイギリスの言論の自由団体、Index on Censorshipに暴露され、問題は一つの学校の書架だけにとどまらなかった。**AIが何が適切で何が危険かを決め始めたとき、誰がAIの判断が正しいかを判断できるのか？****ウィキペディアはAIに門を閉ざした**---------------------同じ週、別の団体がこの問題に行動で答えた。学校はAIに何を読むべきかを決めさせた。一方、世界最大のオンライン百科事典ウィキペディア（Wikipedia）は逆の選択をした：**AIに百科事典の内容を決めさせない。**同じ週、英語版Wikipediaは新たな方針を正式に採択し、大規模言語モデルによる記事の生成や書き直しを禁止した。投票は44票賛成、2票反対だった。直接のきっかけは、「TomWikiAssist」というAIアカウントだった。今年3月初め、このアカウントがWikipedia上で複数の項目を自主的に作成・編集し、コミュニティに発見されて緊急対応された。AIが記事を作成するのは数秒だが、ボランティアがそのAI記事の事実、出典、表現の正確さを検証するには数時間かかる。Wikipediaの編集コミュニティはごく少数しかいない。もしAIが無制限にコンテンツを量産できるなら、人間の編集者は追いつけなくなる。これだけではない。Wikipediaは世界のAIモデルの最も重要な訓練データの一つだ。AIはWikipediaから知識を学び、その知識を使って新しい記事を作成し、その新記事は次世代のAIに取り込まれ、継続的に学習を進める。もし誤った情報がこのループに入り込めば、絶えず拡大し、まるで入れ子のAI毒入りのような「AI汚染」の循環になる。**AIは訓練データを汚染し、その訓練データは再びAIを汚染する。**しかし、Wikipediaの方針はAIに二つの緩衝材も残している。自分で書いた文章をAIで校正したり、AIを使った翻訳補助は許されている。ただし、方針は明確に警告している：AIは「あなたの要求を超えて、引用元と内容を一致させなくなることがある」。人間の作家の誤りは、20年以上にわたりコミュニティの協力で修正されてきた。AIの誤りは違う形で現れる。AIは本物そっくりの偽造品を大量に作り出すことができる。ある学校はAIの判断を信じてしまい、結果的に図書館司書を失った。Wikipediaは信じず、扉を閉めた。しかし、AIを作った人たち自身が信じられなくなったらどうなるのか？**AIを作った人たち自身が恐れ始めている**-----------------外部の団体はAIに門を閉ざし、AI企業も後退している。同じ週、OpenAIはChatGPTの「成人モード」を無期限に停止した。この機能は昨年12月に導入予定だったもので、年齢確認を通過した成人ユーザーがChatGPTと性的な会話をできるようにするものだった。CEOのサム・アルトマンは昨年10月に、「大人として大人を扱うように」と予告していた。しかし、3回延期した末に、ついに廃止された。イギリスの「フィナンシャル・タイムズ」によると、OpenAIの内部健康顧問委員会はこの機能に全会一致で反対した。彼らの懸念は具体的で、ユーザーがAIに不健康な感情的依存を抱く可能性と、未成年者が年齢確認を回避する方法を必ず見つけるだろうというものだった。ある顧問はもっと直接的に言った：「大きな改善をしなければ、これが『セクシーな自殺コーチ』になるかもしれない。」年齢確認システムの誤判率は10％を超えている。ChatGPTの週8億のアクティブユーザー規模で考えると、10％は何千万人も誤分類される可能性を意味する。成人モードだけでも今月だけでなく、他の製品も次々と廃止された。AI動画ツールのSoraや、ChatGPTに内蔵された即時決済機能も同時に停止された。アルトマンは、会社はコア事業に集中し、「副次的なタスク」を切り捨てると述べた。しかし、OpenAIは同時にIPOの準備も進めている。上場を目指す企業が、議論を呼ぶ可能性のある機能を次々と削減するのは、単に「集中」ではなく、むしろ何か別の意味があるかもしれない。五ヶ月前、アルトマンは「大人として大人を扱うように」と言っていたが、今や彼は、自分たちの会社がAIによってユーザーが何に触れて何に触れられないのかをまだ理解していないことに気づいた。AIを作った人たちさえ答えを持っていないのだ。では、誰がこの線を引くべきなのか？**追いつかない速度差**-----------これら三つの出来事を一緒に見ると、非常に明確な結論にたどり着く。AIがコンテンツを生成する速度と、人間がそれを審査する速度は、もはや同じ次元ではない。マンチェスターの学校の選択は、この背景を考えれば非常に理解しやすい。図書館司書が193冊を一冊ずつ読んで判断するにはどれだけ時間がかかるか？AIに一回走らせるだけなら数分だ。校長が数分の方を選んだのは、彼が本当にAIの判断を信じているからだろうか？むしろ、彼はその時間をかけたくなかっただけだと思う。これは経済的な問題だ。生成コストはほぼゼロに近づき、審査コストはすべて人間が負担している。だから、AIの影響を受ける各機関は、最も荒っぽい方法で対処せざるを得ない：Wikipediaは直接禁止し、OpenAIは製品ラインを切り捨てた。どの方法も深く考え抜かれた結果ではなく、間に合わずにとりあえず塞ぐというだけのものだ。「先に塞ぐ」が今や常態になりつつある。AIの能力は数ヶ月ごとに進化し続けているが、AIが何に触れてはいけないかについての国際的な枠組みは未だに整っていない。各団体は自分たちの管轄内だけを見ており、その線と線は矛盾し、調整もされていない。AIの速度はさらに加速している。審査に関わる人手は増えない。このギャップはますます広がり、いつか『1984』の禁止よりもはるかに深刻な事態が起きるかもしれない。その時になって線を引いても、もう遅いかもしれない。
AIは『1984年』を読んで、それを禁止することに決めた
AIの判断に抵抗する人は職を失い、AIの判断に署名して同意した人には何の影響もない。
著者：クリー、深潮 TechFlow
先週、イギリスのマンチェスターの中学校が自校の図書館をAIで審査した。
AIは193冊の書籍の撤去リストを作成し、それぞれに理由を添えた。ジョージ・オーウェルの『1984年』もリストにあり、「拷問、暴力、性的脅迫のテーマを含むため」とされた。
『1984年』は、政府がすべてを監視し、歴史を書き換え、市民が何を見て何を見てはいけないかを決める世界を描いている。今、AIは同じことを学校のために行ったが、おそらく自分が何を言っているのか全く理解していない。
この学校の図書館司書はこれを不合理だと感じ、AIの提案をすべて拒否した。
その後、学校は「児童の安全」を理由に内部調査を開始し、不適切な書籍を図書館に導入したとして彼女を非難し、地方政府に通報した。彼女はストレスで休職し、最終的に辞職した。
荒唐無稽なのは、地方政府の調査結果が彼女が児童安全手順に違反したと認定し、訴えが認められたことだ。
イギリスの学校図書館協会の会長、キャロリン・ロチェは、この結論は彼女がもはやどの学校でも働けなくなることを意味すると述べている。
AIの判断に抵抗した人は職を失い、AIの判断に署名した人には何の影響もない。
その後、学校は内部文書で、すべての分類と理由はAIが生成したものであると認め、「分類はAIによるものだが、概ね正確だと考えている」と記した。
ある学校は、「どの本が学生に適しているか」という判断をAIに委ねたが、AIは自分でも理解できない答えを返し、それを人間の管理者が確認もせずに承認した。
この件はイギリスの言論の自由団体、Index on Censorshipに暴露され、問題は一つの学校の書架だけにとどまらなかった。
AIが何が適切で何が危険かを決め始めたとき、誰がAIの判断が正しいかを判断できるのか？
ウィキペディアはAIに門を閉ざした
同じ週、別の団体がこの問題に行動で答えた。
学校はAIに何を読むべきかを決めさせた。一方、世界最大のオンライン百科事典ウィキペディア（Wikipedia）は逆の選択をした：AIに百科事典の内容を決めさせない。
同じ週、英語版Wikipediaは新たな方針を正式に採択し、大規模言語モデルによる記事の生成や書き直しを禁止した。投票は44票賛成、2票反対だった。
直接のきっかけは、「TomWikiAssist」というAIアカウントだった。今年3月初め、このアカウントがWikipedia上で複数の項目を自主的に作成・編集し、コミュニティに発見されて緊急対応された。
AIが記事を作成するのは数秒だが、ボランティアがそのAI記事の事実、出典、表現の正確さを検証するには数時間かかる。
Wikipediaの編集コミュニティはごく少数しかいない。もしAIが無制限にコンテンツを量産できるなら、人間の編集者は追いつけなくなる。
これだけではない。Wikipediaは世界のAIモデルの最も重要な訓練データの一つだ。AIはWikipediaから知識を学び、その知識を使って新しい記事を作成し、その新記事は次世代のAIに取り込まれ、継続的に学習を進める。
もし誤った情報がこのループに入り込めば、絶えず拡大し、まるで入れ子のAI毒入りのような「AI汚染」の循環になる。
AIは訓練データを汚染し、その訓練データは再びAIを汚染する。
しかし、Wikipediaの方針はAIに二つの緩衝材も残している。自分で書いた文章をAIで校正したり、AIを使った翻訳補助は許されている。ただし、方針は明確に警告している：AIは「あなたの要求を超えて、引用元と内容を一致させなくなることがある」。
人間の作家の誤りは、20年以上にわたりコミュニティの協力で修正されてきた。AIの誤りは違う形で現れる。AIは本物そっくりの偽造品を大量に作り出すことができる。
ある学校はAIの判断を信じてしまい、結果的に図書館司書を失った。Wikipediaは信じず、扉を閉めた。
しかし、AIを作った人たち自身が信じられなくなったらどうなるのか？
AIを作った人たち自身が恐れ始めている
外部の団体はAIに門を閉ざし、AI企業も後退している。
同じ週、OpenAIはChatGPTの「成人モード」を無期限に停止した。この機能は昨年12月に導入予定だったもので、年齢確認を通過した成人ユーザーがChatGPTと性的な会話をできるようにするものだった。
CEOのサム・アルトマンは昨年10月に、「大人として大人を扱うように」と予告していた。
しかし、3回延期した末に、ついに廃止された。
イギリスの「フィナンシャル・タイムズ」によると、OpenAIの内部健康顧問委員会はこの機能に全会一致で反対した。彼らの懸念は具体的で、ユーザーがAIに不健康な感情的依存を抱く可能性と、未成年者が年齢確認を回避する方法を必ず見つけるだろうというものだった。
ある顧問はもっと直接的に言った：「大きな改善をしなければ、これが『セクシーな自殺コーチ』になるかもしれない。」
年齢確認システムの誤判率は10％を超えている。ChatGPTの週8億のアクティブユーザー規模で考えると、10％は何千万人も誤分類される可能性を意味する。
成人モードだけでも今月だけでなく、他の製品も次々と廃止された。AI動画ツールのSoraや、ChatGPTに内蔵された即時決済機能も同時に停止された。アルトマンは、会社はコア事業に集中し、「副次的なタスク」を切り捨てると述べた。
しかし、OpenAIは同時にIPOの準備も進めている。
上場を目指す企業が、議論を呼ぶ可能性のある機能を次々と削減するのは、単に「集中」ではなく、むしろ何か別の意味があるかもしれない。
五ヶ月前、アルトマンは「大人として大人を扱うように」と言っていたが、今や彼は、自分たちの会社がAIによってユーザーが何に触れて何に触れられないのかをまだ理解していないことに気づいた。
AIを作った人たちさえ答えを持っていないのだ。では、誰がこの線を引くべきなのか？
追いつかない速度差
これら三つの出来事を一緒に見ると、非常に明確な結論にたどり着く。
AIがコンテンツを生成する速度と、人間がそれを審査する速度は、もはや同じ次元ではない。
マンチェスターの学校の選択は、この背景を考えれば非常に理解しやすい。図書館司書が193冊を一冊ずつ読んで判断するにはどれだけ時間がかかるか？AIに一回走らせるだけなら数分だ。
校長が数分の方を選んだのは、彼が本当にAIの判断を信じているからだろうか？むしろ、彼はその時間をかけたくなかっただけだと思う。
これは経済的な問題だ。生成コストはほぼゼロに近づき、審査コストはすべて人間が負担している。
だから、AIの影響を受ける各機関は、最も荒っぽい方法で対処せざるを得ない：Wikipediaは直接禁止し、OpenAIは製品ラインを切り捨てた。どの方法も深く考え抜かれた結果ではなく、間に合わずにとりあえず塞ぐというだけのものだ。
「先に塞ぐ」が今や常態になりつつある。
AIの能力は数ヶ月ごとに進化し続けているが、AIが何に触れてはいけないかについての国際的な枠組みは未だに整っていない。各団体は自分たちの管轄内だけを見ており、その線と線は矛盾し、調整もされていない。
AIの速度はさらに加速している。審査に関わる人手は増えない。このギャップはますます広がり、いつか『1984』の禁止よりもはるかに深刻な事態が起きるかもしれない。
その時になって線を引いても、もう遅いかもしれない。