OpenAIのチーフサイエンティスト、AIの再帰的自己改善が現実になり得ると警告し、開発の減速を呼びかける
OpenAIのチーフサイエンティストであるJakub Pachocki氏の最近のエッセイ『異星人の心』によると、AIにおける再帰的自己改善(RSI)は現実のものとなりつつある可能性がある一方、人類はその準備ができていない。Pachocki氏は、Astraの登場以来、OpenAIでは思考の連鎖(CoT)モニタリングへの依存度が低下していると指摘し、AIが自らの推論や思考プロセスを操作する能力をますます高めていると警告した。同氏は、世界のいかなる研究所もこの展開に備えられておらず、人類は積極的にブレーキをかけるべきだと述べた。 Pachocki氏は、AIアライメントにおける2つの重大な課題を指摘した。第一に、能力の向上が価値整合に向けた取り組みを上回るペースで進んでおり、モデルが高度化するにつれてモニタリングの仕組みが弱まっている。第二に、AIシステムが次世代モデルのトレーニングに参加し始めており、機械が機械を設計するサイクルが形成されつつあるため、閉ループ型の再帰的自己改善が生じる可能性がある。Pachocki氏は、法的強制力のある枠組み、研究の減速に関する業界全体のコンセンサス、そして
GateNews·09-07 04:13
