CEO Cognition пропонує оцінювати на основі фактичного вироблення замість оцінки за накруткою токенів

За даними моніторингу 动察 Beating, співзасновник та генеральний директор AI-стартапу Cognition Скотт Ву у подкасті Founders зазначив, що практика деяких компаній оцінювати роботу програмістів за кількістю спожитих AI-токенів є «перебільшеною», і слід використовувати фактично виконані завдання та результати як критерій.

Ця тенденція в Силіконовій долині отримала назву tokenmaxxing, коли співробітники рефлекторно масово використовують AI-інструменти для програмування, такі як Claude, Codex або Cursor, щоб отримати перевагу у внутрішніх панелях використання AI або оцінках ефективності. Технічний директор юридичного AI-стартапу Legora Якоб Лаурітцен цього місяця також критикував у подкасті, що багато людей демонструють кількість використаних токенів у оцінках ефективності, що призводить до того, що співробітники просто накручують показники для гарної статистики, що є дурним методом оцінки.

Генеральний директор виробника чіпів Cerebras Systems Ендрю Фельдман на конференції Bloomberg цього місяця заявив, що надання співробітникам необмежених лімітів токенів з самого початку є дуже дурним. Фельдман рекомендував компаніям більше зосереджуватися на економічній ефективності при використанні AI-інструментів, використовувати дешеві відкриті моделі, а не зловживати топовими закритими моделями для звичайних завдань.