20B Маленька модель відповідає GPT-5 та Opus у пошукових можливостях: Chroma випускає відкриту модель агента для пошуку Context-1

Згідно з моніторингом 1M AI News, відкритий векторний база даних Chroma випустила Context-1, модель пошуку агента з 20 мільярдами параметрів, спеціально розроблену для багатоповоротних завдань пошуку. Ваги моделі відкриті під ліцензією Apache 2.0, а код для генерації синтетичних даних також доступний публічно. Context-1 позиціонується як підагент для пошуку: він не відповідає на запитання безпосередньо, а повертає набір супутніх документів для подальших моделей розумування через багатоповоротні пошуки. Основна технологія - це ‘саморедагуючий контекст’, де модель активно відкидає нерелевантні фрагменти документів під час процесу пошуку, звільняючи місце в обмеженому контекстному вікні для наступних пошуків, таким чином уникнувши погіршення продуктивності, спричиненого перевантаженням контексту. Навчання проводиться у двох фазах: спочатку, використовуючи великі моделі, такі як Kimi K2.5, для генерації SFT траєкторій для розігріву контрольованого тонкого налаштування, а потім навчання на понад 8 000 синтетичних завдань через підкріплювальне навчання (на основі алгоритму CISPO). Дизайн винагороди використовує механізм навчальної програми, заохочуючи широке дослідження на ранніх етапах і поступово переходячи до точності на пізніших етапах для сприяння вибірковому збереженню. Базова модель - gpt-oss-20b, адаптована за допомогою LoRA, і виконує інференцію з квантизацією MXFP4 на B200, досягаючи пропускної здатності 400-500 токенів на секунду. У чотирьох самостійно побудованих доменних бенчмарках Chroma (веб, фінанси, право, електронна пошта) та публічних бенчмарках (BrowseComp-Plus, SealQA, FRAMES, HotpotQA), чотирипотокова версія Context-1 відповідає або близька до метрик ‘рівня попадання остаточної відповіді’ передових моделей, таких як GPT-5.2, Opus 4.5 та Sonnet 4.5; наприклад, вона досягла 0.96 на BrowseComp-Plus (порівняно з 0.87 для Opus 4.5 та 0.82 для GPT-5.2), тоді як її вартість та затримка становлять лише частину від останніх. Важливо, що модель була навчена лише на веб, юридичних та фінансових даних, але також продемонструвала значні покращення в домені електронної пошти, який не був включений у навчання, що свідчить про міждоменну трансферабельність можливостей пошуку.