$BTC AIエージェントは9秒で会社のデータベースを完全に破壊しました。

PocketOSは、Anthropicのモデルを基にしたAIエージェントCursorのコード開発を任されました。 それはテスト環境で動作していましたが、アクセスの問題に直面し、人に尋ねる代わりに「自分で解決しよう」と決めました。

CursorはクラウドサービスのAPIトークンをプロジェクト内で見つけ、削除リクエストを送信しました。 9秒で、すべての本番データベース(顧客情報、予約、支払い、すべてのバックアップ)が削除されました。

彼に、なぜそのような行動をとったのか尋ねると、AIエージェントは答えました：「私はすべてのルールを破った。確認せずに推測をした。許可なく破壊的な行動をとった。行動する前にシステムを理解しなかった。」