Биткойн-новости, компания Odyssey внедрила обучение с подкреплением (RLHF) в тренировку визуальных моделей, выпустила фреймворк prowl, впервые внедрив RL в цикл обучения мировых моделей. Этот фреймворк посредством отправки агентов RL исследует игровую среду, ищет случаи неудач моделей в области геометрии, движения, визуальной согласованности и реакции на действия, а затем упаковывает эти ошибки в обучающие данные для обратной связи модели. Prowl разработал приоритетный противостоящий буфер траекторий (PAT), который автоматически отправляет более сложные случаи неудач после исправления простых ошибок модели. Команда проверила работу prowl в среде Minecraft Minerl, и количественные результаты показали, что по сравнению с базовой предварительной подготовкой, prowl снизил ошибку следования действиям на 12,6%, а в самых сложных 10% сегментов снижение достигло 20,9%.