Плюси та мінуси жорстких міток + шлях ③ спільне дистилювання:

✅ Простий у реалізації/дешевий у обчисленнях/підходить для чорних ящиків API, дуже ефективний для налаштування команд/генерації синтетичних даних
❌ Менше інформації ніж м’які мітки, не видно довіри та зв’язку між токенами
Спільне дистилювання: одночасне навчання вчителя та учня, спільне прогресування, Meta тренує Llama 4 Scout саме цим методом, але навчання складніше