Оновлення пошуку файлів API Gemini з мультимодальним RAG: мультимодальна перевірка зображень і тексту, фільтрація метаданих, посилання на рівні сторінок

Звіт з CoinWorld, Google випустила три оновлення для інструменту пошуку файлів у Gemini API. По-перше, мультимодальний пошук: на основі моделі Gemini embedding 2, завантажені користувачами зображення та текст можна об’єднано індексувати та шукати в одній базі знань, використовуючи природну мову для знаходження матеріалів, що відповідають певному візуальному стилю або емоційному настрою. По-друге, налаштовуване фільтрування метаданих: при завантаженні файлів можна додавати ключ-значення теги (наприклад, department: legal), а при пошуку — попередньо фільтрувати за тегами, звужуючи область пошуку. По-третє, точне цитування на рівні сторінки: модель під час відповіді вказує, з якого файлу і на якій сторінці взято інформацію, що зручно для користувачів для швидкого переходу та перевірки. Пошук файлів — це вбудована у Gemini API повністю керована система RAG (збільшення генерації за допомогою пошуку), яка автоматично обробля збереження файлів, їх розбиття, векторизацію та додавання контексту. Генерація embedding під час збереження та пошуку безкоштовна, а оплата стягується лише при першому індексуванні — 0,15 долара США за мільйон токенів.