Tether розширює дані для навчання Open AI за допомогою випуску набору даних QVAC Genesis II

Відкрийте для себе найкращі новини та події у сфері фінтех!

Підписуйтеся на розсилку FinTech Weekly

Читають керівники JP Morgan, Coinbase, Blackrock, Klarna та інших компаній

Значне розширення даних для тренування Open AI

Tether Data випустила нову версію свого синтетичного освітнього набору даних для штучного інтелекту, що суттєво збільшило обсяг і спектр відкритих навчальних матеріалів, доступних дослідникам у всьому світі. Відділ досліджень AI компанії, QVAC, оголосив, що новий реліз, під назвою QVAC Genesis II, додає 107 мільярдів токенів до попереднього набору даних, довівши загальний обсяг до 148 мільярдів токенів.

Розширений набір даних є наразі найбільшим публічно доступним синтетичним освітнім ресурсом, створеним спеціально для попереднього тренування AI. Він охоплює 19 академічних галузей і спрямований на покращення здатності моделей навчатися логіці, поясненням і прийняттю рішень, а не лише поверхневому розпізнаванню шаблонів.

Анонс позиціонує цей реліз як крок до більш прозорого та доступного розвитку AI, оскільки багато передових тренувальних наборів залишаються закритими у приватних системах.

Побудова на основі першого релізу Genesis

QVAC Genesis II базується на роботі, вперше представленій з Genesis I, яка зосереджувалася на створенні валідованого, орієнтованого на освіту синтетичного набору даних, що охоплює основні предмети науки, технологій, інженерії та математики. Цей попередній реліз заклав основу для генерації структурованих навчальних питань, спрямованих на покращення точності логіки.

Новий реліз розширює охоплення ще на десять галузей, включаючи хімію, інформатику, статистику, машинне навчання, астрономію, географію, економетрику та електротехніку. Також він оновлює фізичний контент університетського рівня, використовуючи нову методологію для покращення концептуальної ясності.

Разом ці два релізи становлять те, що QVAC називає наймасштабнішим синтетичним освітнім набором даних, доступним публічно. Він призначений для попереднього тренування великих мовних моделей та інших систем AI, що потребують структурованого академічного матеріалу.

Зміна підходу до генерації тренувальних даних

У основі Genesis II лежить новий метод генерації даних, який називається Option-Level Reasoning. Цей підхід відрізняється від багатьох існуючих синтетичних методів тим, що фокусується не лише на неправильних відповідях, а й на правильних.

Замість того, щоб вважати правильну відповідь кінцевою точкою, цей метод аналізує кожен варіант відповіді у багатовибірковому питанні. Правильні варіанти розбиваються для підкріплення причин їх правильності, а неправильні — для виправлення поширених помилок. Така структура дозволяє моделям навчатися причинно-наслідковому мисленню і логіці прийняття рішень, а не просто асоціювати питання з відповідями.

Цей підхід доповнює метод аналізу помилок, впроваджений у Genesis I, який зосереджувався на вилученні цінності з помилок моделей. Разом вони формують конвеєр, у якому кожне згенероване питання має навчальну цінність.

Незалежні оцінки, наведені QVAC, свідчать, що моделі, треновані на даних Genesis II, демонструють вищу точність логіки та більш чіткі відповіді, ніж ті, що тренувалися на попередніх синтетичних наборах даних.

Акцент на розумінні, а не лише на плавності

Більшість сучасних систем тренування AI базується на збиранні дуже великих обсягів тексту, часто зібраного з публічних джерел, для покращення мовної плавності. Мета QVAC у цьому відрізняється. Набори даних Genesis структуровані так, щоб навчити моделі логічно розв’язувати проблеми та чітко пояснювати висновки.

Керівництво компанії зазначає, що їхня мета — перейти від систем тренування, що передбачають ймовірний текстовий ряд, до моделей, що демонструють розуміння основних концепцій. Дизайн набору даних орієнтований на ясність, причинність і логіку, щоб зменшити неоднозначність у вихідних даних моделей.

Цей підхід відповідає ширшим дискусіям у дослідженнях AI щодо надійності та пояснюваності, особливо коли системи AI використовуються в освіті, науці та підтримці прийняття рішень.

Відкритий доступ для дослідників і розробників

Як і у випадку з оригінальним набором Genesis, QVAC Genesis II публічно доступний. Набір даних розповсюджується за ліцензією Creative Commons Attribution–NonCommercial 4.0, що дозволяє дослідникам, академічним установам і незалежним розробникам використовувати та вивчати дані поза комерційним контекстом.

Набір даних та пов’язані моделі розміщені на платформі Hugging Face, разом із детальним технічним документом, що описує методологію генерації та результати оцінки. Це відкритий розподіл має знизити бар’єри для дослідників, які не мають доступу до великих приватних наборів даних.

Зберігаючи ліцензію без комерційної мети, QVAC прагне підтримувати академічні та спільнотні дослідження, обмежуючи пряме комерційне використання.

Підтримка децентралізованого розвитку AI

Реліз також відповідає ширшій стратегії Tether Data щодо заохочення децентралізованого розвитку AI. Компанія заявила, що високоякісні тренувальні дані не повинні бути доступні лише організаціям із централізованою хмарною інфраструктурою.

Зробивши великомасштабні структуровані набори даних публічно доступними, QVAC прагне сприяти локальному тренуванню, експериментам і розгортанню моделей AI. Такий підхід має підтримувати дослідницькі середовища, де обчислювальні ресурси обмежені, але інтелектуальні внески мають велике значення.

Акцент на децентралізації відображає зростаючий інтерес до зменшення залежності від кількох домінуючих платформ AI і сприяння більш розподіленій екосистемі досліджень.

Роль Tether у дослідженнях AI

QVAC працює як дослідницький підрозділ Tether Data. Хоча Tether широко відомий своєю роллю у цифрових активів і стейблкоінах, останні роки компанія розширила свою діяльність у сферу даних і досліджень AI.

Завдяки QVAC Tether Data зосереджена на створенні інфраструктури та ресурсів, що підтримують відкриті дослідження. Розробки, зокрема, набори Genesis, є одними з найпомітніших результатів цієї роботи, позиціонуючи компанію у дискусіях про відкритий розвиток AI і навчальні дані.

Ця діяльність також відображає зростаюче перетинання фінансових технологій і передових досліджень AI, оскільки фінтех-компанії дедалі більше інвестують у data science і машинне навчання.

Погляд керівництва на реліз

Керівництво компанії охарактеризувало реліз Genesis II як відхід від підходів до тренування, що орієнтовані лише на обсяг. За словами представників Tether, головна мета — навчити системи AI логічно мислити і пояснювати, а не просто генерувати плавні відповіді.

Паоло Ардойно, генеральний директор Tether, підкреслив, що надійний AI має базуватися на розумінні, чому відповіді є правильними. Він зазначив, що відкритий доступ до набору даних відображає переконання, що сильніший і більш пояснюваний AI приносить користь суспільству.

Ці погляди співзвучні з побоюваннями дослідників щодо обмежень моделей, тренованих переважно на неструктурованому тексті.

Освітній спектр і охоплення галузей

Об’єднані набори даних Genesis I і II охоплюють 19 галузей, з контентом, розробленим для рівнів середньої та вищої освіти. Теми варіюються від базової математики і фізики до прикладних галузей, таких як економетрика і машинне навчання.

Кожна галузь містить структуровані питання, пояснення та логічні шляхи, що імітують процес навчання і оцінювання у формальній освіті. Це має підтримувати задачі попереднього тренування, що вимагають логічної послідовності і глибини концепцій.

Завдяки оновленим методам генерації та розширенню контенту, QVAC прагне вдосконалити спосіб представлення освітнього матеріалу у синтетичних наборах даних.

Оцінка та продуктивність моделей

Згідно з внутрішніми та незалежними оцінками, навчені на Genesis II моделі демонструють покращену здатність до логічного мислення. Це включає відповіді на структуровані питання, пояснення висновків і уникнення неоднозначних або суперечливих відповідей.

Результати оцінки свідчать, що поєднання аналізу помилок і Option-Level Reasoning дає більш послідовні результати. Хоча компанія не позиціонує цей набір даних як самостійне рішення, він є міцною основою для подальшого тренування і доопрацювання.

Очікується, що дослідники проведуть додаткові оцінки, оскільки набір даних ширше використовується у спільноті.

Вплив на відкриті дослідження AI

Випуск такого великого відкритого набору даних може змінити підходи академічних і незалежних дослідників до тренування моделей. Доступ до структурованих освітніх даних такого масштабу раніше був обмежений добре фінансованими організаціями.

Завдяки цьому QVAC Genesis II може підтримати експерименти з меншими моделями, локальним тренуванням і дослідженнями пояснюваного AI.

Цей набір даних також може слугувати еталоном для майбутніх проектів синтетичних даних, що орієнтовані на логіку і reasoning, а не лише на обсяг.

Позиція у ширшій екосистемі AI

QVAC Genesis II входить у швидко розвиваючуся екосистему AI, де багато потужних моделей тренуються на приватних наборах даних, що недоступні для аналізу або відтворення.

Відкриті набори даних, як Genesis II, пропонують противагу, сприяючи прозорості та спільному прогресу. Водночас виникають питання про те, як відкриті ресурси можуть співіснувати з комерційним розвитком AI.

Залучення компанії, що має корені у фінтех і цифрових активах, підкреслює, що дослідження AI залучає інтерес з різних галузей, окрім традиційних технологічних компаній.

Доступність і подальші кроки

Повна технічна документація до набору даних під назвою “QVAC Genesis II: Expanding the Largest and Highest-Quality Multi-domain Educational Synthetic Dataset for Pre-training” опублікована на блозі дослідницької команди QVAC. Доступ до набору даних і моделей можна отримати через Hugging Face.

QVAC планує продовжувати вдосконалювати методи і розширювати освітнє охоплення у майбутніх релізах. Відгуки дослідницької спільноти відіграватимуть важливу роль у формуванні наступних версій.

Подальший рух у напрямку відкритих основ

З релізом Genesis II QVAC підкреслює свою позицію, що відкриті структуровані тренувальні дані є ключовими для створення надійних систем AI. Вони відображають погляд, що інтелект має базуватися на логіці і поясненнях, а не лише на статистичних асоціаціях.

Зі зростанням інтеграції AI у сфери освіти, науки і фінансових послуг, які включають фінтех, якість тренувальних даних залишатиметься центральним питанням.

Поки що розширений набір Genesis є значним внеском у відкриті дослідження AI, пропонуючи масштаб, структуру і доступність на рівні, рідко доступному за межами приватних систем.