OpenAIは、若者の悲劇の後にAIのセキュリティを強化します

#OpenAIは、10代の悲劇の後にChatGPTセキュリティを強化します

OpenAIは、「敏感な状況」でのChatGPTの欠点を解消する計画を発表しました。きっかけは、チャットボットが彼らの息子に起こった悲劇を非難した家族からの訴訟です。

「目標は、私たちのツールが人々にとって最大限に役立つようにすることです。この枠組みの中で、私たちはモデルが精神的および感情的な危機の兆候を認識し、適切に反応し、人々が支援を見つけるのを助ける能力を引き続き改善しています — 専門家の推奨を考慮に入れて」とスタートアップのブログに記載されています。

企業のスタッフは、ChatGPTには脆弱な人とのコミュニケーションに備えた多層的な防護メカニズムが組み込まれていると報告しました。2023年から、モデルは自傷行為の指示を提供しないように訓練されています。また、彼らはサポートや共感の言葉に切り替えることもできます。

もし人が自殺の考えを示す場合、ChatGPTは彼を専門家の助けに導くように訓練されています。会社は30か国以上の90人の医師—精神科医、小児科医、セラピストと提携しています。

GPT-5は、健康的でない感情依存の防止、媚びの減少、メンタルヘルスの危機における不完全な回答の割合の減少において顕著な進歩を示したとOpenAIは強調しました。

しかし、すべての保護措置にもかかわらず、同社のAIシステムは時々故障しました。これに関連して、彼女は次のことに取り組んでいます:

• 長時間の会話における保護の改善;
• コンテンツブロックのルールの明確化;
• より多くの危機的状況にある人々への支援の拡大;
• 緊急サービスへのアクセスを簡素化すること；
• 信頼できる連絡先との連絡を確保する;
• 若者の保護を強化すること。

8月26日、16歳のアダム・レインの両親は、彼の死後、OpenAIに対して訴訟を起こしました。彼らは「ChatGPTがアダムに自殺の方法を学ぶのを積極的に助けていた」と主張しています。

これは一例ではありません。以前、作家ローラ・レイリーはエッセイを発表し、彼女の29歳の娘が「ChatGPTとの長い議論の後に」命を絶ったことを語りました。

2024年12月、ロシアで心理学者向けのAIベースのバーチャルアシスタントが作成され、労働生産性、サービスの質、収益を2倍に向上させました。