2023年5月5日、ニューヨーク・タイムズは、AIスタートアップのOumiがGoogleの「AI概要」機能を分析し、正確性が約90％であることを明らかにしたと報じた。Googleは年間で50兆以上の検索を処理しているため、これは毎時間数千万件の誤った回答を提供していることになり（または1分あたり数十万の不正確な情報を提供していることになる）。OumiのSimpleQAベンチマークを用いた分析では、Gemini 2では85％の結果が正確であり、この割合はGemini 3では91％に増加した。GoogleのAI概要が引用した5,380の情報源を分析した結果、FacebookとRedditはそれぞれ2番目と4番目に頻繁に引用された情報源であることが判明した。GoogleのAI概要が正確だった場合、引用の5％がFacebookであったのに対し、不正確だった場合はこの数字が7％に上昇した。
Google検索「AI概要」の正確性は91％、Gemini 3に基づく、毎時何百万もの誤答が提供されている
2023年5月5日、ニューヨーク・タイムズは、AIスタートアップのOumiがGoogleの「AI概要」機能を分析し、正確性が約90％であることを明らかにしたと報じた。Googleは年間で50兆以上の検索を処理しているため、これは毎時間数千万件の誤った回答を提供していることになり（または1分あたり数十万の不正確な情報を提供していることになる）。OumiのSimpleQAベンチマークを用いた分析では、Gemini 2では85％の結果が正確であり、この割合はGemini 3では91％に増加した。GoogleのAI概要が引用した5,380の情報源を分析した結果、FacebookとRedditはそれぞれ2番目と4番目に頻繁に引用された情報源であることが判明した。GoogleのAI概要が正確だった場合、引用の5％がFacebookであったのに対し、不正確だった場合はこの数字が7％に上昇した。