Обновление поиска файлов API Gemini с мультимодальным RAG: смешанная проверка изображений и текста, фильтрация по метаданным, цитаты на уровне страниц

Новости CoinWorld: Google выпустила три обновления инструмента File Search для Gemini API. Во-первых, мультимодальный поиск: на базе модели Gemini embedding 2 разработчики могут загружать изображения и текст, которые будут объединены в единую базу знаний для индексирования и поиска, позволяя находить материалы с определённым визуальным стилем или эмоциональным настроением с помощью естественного языка. Во-вторых, фильтрация по пользовательским метаданным: при загрузке файла можно добавлять ключ-значение теги (например, department: legal), а при поиске — предварительно фильтровать по тегам, сокращая диапазон поиска. В-третьих, точное цитирование по страницам: модель при ответе указывает, с какого файла и на какой странице взята информация, что облегчает пользователю переход и проверку. File Search — это встроенная в Gemini API полностью управляемая система RAG (поиск с усилением генерации), которая автоматически обрабатывает хранение файлов, их разбиение, векторизацию и внедрение контекста. Генерация embedding при хранении и поиске бесплатна, взимается только при первом индексировании — 0,15 доллара за миллион токенов.