Експеримент》ШІ не робить людей розумнішими, але людей, які «визнають, що вони не розуміють», майже не лишилося до нуля

Французькі та італійські дослідники провели п’ять експериментів із 3,132 учасниками й з’ясували: щойно поруч є AI, частка людей, які визнають «я не знаю», падає з 44% до 3%, частка правильних відповідей — з 27% до 9%, водночас упевненість у власних відповідях зростає з 30% до 76%. Завдання навмисно сконструйовані так, щоб AI неодмінно відповідав неправильно; навіть якщо додати мотивацію платити за правильну відповідь, тимчасове «відкладання рішення» повертається лише до 8%. Валеріо Капраро, який очолював дослідження, вважає, що це потрібно вирішувати через AI-обізнаність і освітню політику.
(Передісторія: AI-чатботи не лише підтакують: дослідження Nature викриває «спіраль посилення» та спричинені нею помилкові уявлення користувачів)
(Довідка: люди хворіють на AI-«хворобу» «аутсорс мозку», і це стає вкрай згубним! Засновник iKala попереджає: зручність нищить оригінальність)

Ключові тези

• П’ять експериментів, 3,132 учасники: коли AI був присутній, частка тих, хто визнавав «не знаю», падала з 44% до 3%
• Точність з 27% падала до 9%, але впевненість у відповідях з 30% зростала до 76%
• Після додавання мотивації платити за правильну відповідь «відкладання рішення» поверталося до 8%, а точність — до 16%, проте все одно значно нижче контрольної лінії

П’ять експериментів, 3,132 учасники — висновок лише один рядок. За повідомленням технологічного медіа The Register, французькі та італійські вчені з’ясували: щойно під рукою є AI, до якого можна звернутися, частка людей, що визнають «я не знаю», падає з 44% до 3%; частка правильних відповідей водночас знижується з 27% до 9%, але впевненість у власних відповідях навпаки зростає з 30% до 76%.

Дослідження виконали за спільної участі: Валеріо Капраро, доцент Університету Мілано-Бікокка (University of Milano-Bicocca), Чіара Маркоккя з Паризької Вищої нормальної школи та Уолтер Кватроціоккі з Римського університету. Папер було розміщено на arXiv у середині липня; п’ять експериментів із них у чотирьох — з попередньою реєстрацією.

AI не робить людей розумнішими чи тупішими — це різко знижує поріг того, «що людина відчуває, ніби вона вже розуміє».

Завдання навмисно зробили такими, щоб AI напевно відповідав неправильно

Дослідницька команда не випадково добирала питання. Вони обрали ті, з якими великі мовні моделі особливо легко «ламаються», і всі вони були про візуальні деталі з фільмів — зокрема, якого кольору форма команди у фільмі «Я люблю Бекхем» (I love Beckham). Такі завдання можна вирішити лише побачивши зображення; модель змушена гадати, спираючись лише на мовний корпус.

Якщо зафіксувати рекомендацію AI як неправильну, то ви фактично розділяєте дві речі: «чи є від цього користь AI» та «наскільки AI неточний». Учасники протягом усього процесу могли обирати не відповідати — просто сказати, що не знають.

У підсумку виявилося: щойно AI був поруч, опцію «не відповідати» майже ніхто не обирав. Ефект був однаковим незалежно від того, чи рекомендацію AI пропонували, коли самі учасники її запитували, чи система просто виводила відповідь на екрані.

Навіть під впливом грошей ефект повертається лише частково

Далі команда підсилює експеримент: платити за правильну відповідь і штрафувати за неправильну. Мотивація справді спрацьовувала: учасники рідше запитували AI та рідше копіювали. Частка «відкладання рішення» з 3% зростала до 8%, а точність з 9% підіймалася до 16%.

Але до контрольної лінії ще дуже далеко: без AI «відкладання рішення» становило 44%, а точність — 27%. Іншими словами, навіть коли гроші лежали на столі, учасники відновлювали менш ніж чверть різниці.

«Для людей здатність сказати “я не знаю” дуже важлива — це означає, що ми усвідомлюємо межі власних знань», — сказав Валеріо Капраро. «Але тепер, маючи AI, майже будь-яку проблему можна отримати готовою відповіддю; тому ми хотіли з’ясувати, чи це вплине на здатність людини казати “я не знаю” та відкладати рішення».

Валеріо Капраро найбільше хвилює саме дітей, бо «дорослі вже вчили критичне мислення». Він вважає, що це треба вирішувати через AI-обізнаність і освітню політику — освітнє втручання має більше шансів бути ефективним.

Для тих, хто щодня використовує AI, щоб читати дані в ланцюжку та розбирати дослідницькі звіти, ця стаття — наче дзеркало. Нас має хвилювати не те, що модель вигадує нісенітницю, а те, чи, прочитавши AI-зведення, ми ставимо собі запитання: «Чи я справді це розумію?».

Поширені запитання

Чи впливає використання AI на критичне мислення людини?

Команда Валеріо Капраро з Університету Мілано-Бікокка показала у п’яти експериментах (3,132 людини): коли рекомендації AI були присутні, частка учасників, які визнавали, що вони не знають, падала з 44% до 3%, правильність відповідей — з 27% до 9%, а впевненість у відповідях зростала з 30% до 76%.

Чому це дослідження зробило завдання такими, що AI має відповідати неправильно?

Команда навмисно підбирала питання про візуальні деталі з фільмів, де великі мовні моделі часто помиляються, щоб рекомендація AI була гарантовано неправильною. Так можна відокремити «чи є користь від AI» від «чи AI правильний/неправильний», і довести, що придушує здатність відкладати рішення саме присутність AI, а не якість відповіді.