Tether розширює відкриті дані для навчання штучного інтелекту з випуском набору даних QVAC Genesis II

Відкрийте для себе провідні новини та події у сфері фінтех!

Підписуйтеся на розсилку FinTech Weekly

Читають керівники JP Morgan, Coinbase, Blackrock, Klarna та інших компаній

Значне розширення даних для навчання Open AI

Tether Data випустила нову версію свого синтетичного освітнього набору даних для штучного інтелекту, що суттєво збільшило обсяг і охоплення відкритих навчальних матеріалів, доступних дослідникам по всьому світу. Дослідницький відділ компанії, QVAC, оголосив, що новий реліз, під назвою QVAC Genesis II, додає 107 мільярдів токенів до попереднього набору даних, довівши загальний обсяг до 148 мільярдів токенів.

Розширений набір даних тепер є найбільшим публічно доступним синтетичним освітнім ресурсом, створеним спеціально для попереднього навчання AI. Він охоплює 19 академічних галузей і спрямований на покращення того, як моделі навчаються логіці, поясненням і прийняттю рішень, а не поверхневому розпізнаванню шаблонів.

Оголошення позиціонує реліз як крок до більш прозорого та доступного розвитку AI у час, коли багато передових навчальних наборів залишаються закритими у власних системах.

Побудова на основі першого релізу Genesis

QVAC Genesis II базується на роботі, вперше представленій з Genesis I, яка зосереджувалася на створенні валідованого, орієнтованого на освіту синтетичного набору даних, що охоплює основні предмети науки, технологій, інженерії та математики. Той попередній реліз заклав основу для генерації структурованих навчальних питань, спрямованих на покращення точності логіки.

Новий реліз розширює охоплення ще на десять галузей, включаючи хімію, інформатику, статистику, машинне навчання, астрономію, географію, економетрику та електротехніку. Також він повертається до фізики на рівні коледжу, оновлюючи її за допомогою нової методології, спрямованої на покращення концептуальної ясності.

Разом ці два релізи становлять те, що QVAC описує як наймасштабніший синтетичний освітній набір даних, доступний публічно. Набір даних призначений для використання у попередньому навчанні великих мовних моделей та інших систем AI, що потребують структурованого академічного матеріалу.

Зміна підходу до генерації навчальних даних

У центрі Genesis II — новий метод генерації даних, який називається Вибіркове Логічне Аналізування (Option-Level Reasoning). Цей підхід відрізняється від багатьох існуючих технік синтетичних даних тим, що фокусується не лише на неправильних відповідях, а й на правильних.

Замість того, щоб вважати правильну відповідь кінцевою точкою, цей метод аналізує кожен варіант відповіді у багатовибірковому питанні. Правильні варіанти розбиваються для підкріплення причин їх правильності, тоді як неправильні — для виправлення поширених помилок. Така структура дозволяє моделям навчатися причинно-наслідковому мисленню і логіці прийняття рішень, а не просто асоціювати питання з відповідями.

Цей підхід доповнює метод Аналізу Помилок, впроваджений у Genesis I, який зосереджувався на вилученні цінності з помилок моделей. Разом вони формують конвеєр, де кожне згенероване питання має навчальну цінність.

Незалежні оцінки, наведені QVAC, свідчать, що моделі, навчені на даних Genesis II, демонструють вищу точність логіки та більш чіткі відповіді, ніж ті, що навчені на попередніх синтетичних наборах даних.

Акцент на розумінні, а не на вільності мовлення

Більша частина сучасної екосистеми навчання AI базується на збиранні дуже великих обсягів тексту, часто зібраного з публічних джерел, для покращення мовної плавності. Мета QVAC у цьому відрізняється. Набори даних Genesis структуровані так, щоб навчити моделі логічно розв’язувати проблеми та чітко пояснювати висновки.

Керівництво компанії зазначає, що їхня мета — перейти від систем навчання, що передбачають ймовірні послідовності тексту, до моделей, що демонструють розуміння основних концепцій. Дизайн набору даних орієнтований на ясність, причинність і логіку, щоб зменшити неоднозначність у вихідних даних моделей.

Цей підхід узгоджується з ширшими дискусіями в дослідженнях AI щодо надійності та пояснюваності, особливо коли системи AI використовуються в освіті, науці та прийнятті рішень.

Відкритий доступ для дослідників і розробників

Як і оригінальний набір Genesis, QVAC Genesis II публічно доступний. Набір даних розповсюджується за ліцензією Creative Commons Attribution–NonCommercial 4.0, що дозволяє дослідникам, академічним установам і незалежним розробникам використовувати та вивчати дані поза комерційним контекстом.

Набір даних і пов’язані моделі розміщені на платформі Hugging Face, разом із детальним технічним документом, що описує методологію генерації та результати оцінки. Це відкритий розподіл має знизити бар’єри для дослідників, які не мають доступу до великих власних наборів даних.

Зберігаючи некомерційну ліцензію, QVAC прагне підтримувати академічні та спільнотні дослідження, обмежуючи пряме комерційне використання.

Підтримка децентралізованого розвитку AI

Реліз також відповідає ширшій стратегії Tether Data щодо заохочення децентралізованого розвитку AI. Компанія заявила, що високоякісні навчальні дані не повинні бути обмежені організаціями з доступом до централізованої хмарної інфраструктури.

Зробивши великомасштабні структуровані набори даних публічно доступними, QVAC прагне сприяти локальному тренуванню, експериментам і розгортанню моделей AI. Такий підхід має підтримувати дослідницькі середовища, де обчислювальні ресурси обмежені, але інтелектуальні внески залишаються важливими.

Акцент на децентралізації відображає зростаючий інтерес до зменшення залежності від кількох домінуючих платформ AI і сприяння більш розподіленій екосистемі досліджень.

Роль Tether у дослідженнях AI

QVAC функціонує як дослідницький відділ Tether Data. Хоча Tether широко відомий своєю роллю у цифрових активів і стейблкоінах, компанія розширила свою діяльність у сферу даних і досліджень AI останніми роками.

Завдяки QVAC, Tether Data зосереджена на створенні інфраструктури та ресурсів, що підтримують відкриті дослідження. Набори Genesis є одним із найвидиміших результатів цієї роботи, позиціонуючи компанію у дискусіях навколо відкритого розвитку AI і навчальних даних.

Ця діяльність також відображає зростаюче перетинання фінансових технологій і передових досліджень AI, оскільки фінтех-компанії дедалі більше інвестують у науку про дані та машинне навчання.

Погляд керівництва на реліз

Керівництво компанії охарактеризувало реліз Genesis II як відхід від підходів до навчання, що орієнтовані лише на обсяг. За словами представників Tether, головна мета — навчити системи AI логічно мислити і пояснювати, а не просто генерувати плавні відповіді.

Паоло Ардойно, головний виконавчий директор Tether, підкреслив, що надійний AI має базуватися на розумінні, чому відповіді є правильними. Він зазначив, що відкритий доступ до набору даних відображає переконання, що сильний, більш пояснюваний AI приносить користь суспільству в цілому.

Ці погляди резонують із занепокоєннями дослідників щодо обмежень моделей, навчених переважно на неструктурованому тексті.

Освітній спектр і охоплення галузей

Об’єднані набори даних Genesis I і II охоплюють 19 галузей, з контентом, розробленим для рівнів середньої та вищої освіти. Предмети варіюються від базової математики і фізики до прикладних галузей, таких як економетрика і машинне навчання.

Кожна галузь містить структуровані питання, пояснення і логічні шляхи, що імітують процес навчання і оцінювання у формальній освіті. Такий дизайн має підтримувати завдання попереднього навчання, що вимагають логічної послідовності і глибини концепцій.

Завдяки оновленню та розширенню контенту за допомогою покращених методів, QVAC прагне вдосконалити спосіб представлення освітнього матеріалу у синтетичних наборах даних.

Оцінка та продуктивність моделей

Згідно з внутрішніми та незалежними оцінками, посиланнями від QVAC, моделі, навчені на Genesis II, демонструють покращену продуктивність у завданнях, що вимагають логічного мислення. Це включає відповіді на структуровані питання, пояснення висновків і уникнення двозначних або суперечливих відповідей.

Результати оцінки свідчать, що поєднання Аналізу Помилок і Вибіркового Логічного Аналізу призводить до більш послідовних вихідних даних. Хоча компанія не позиціонує цей набір даних як самостійне рішення, вона вважає його міцною основою для подальшого навчання і доопрацювання.

Очікується, що дослідники проведуть додаткові оцінки, оскільки набір даних ширше використовується у спільноті.

Наслідки для відкритих досліджень AI

Випуск такого великого відкритого набору даних може вплинути на підходи академічних і незалежних дослідників до тренування моделей. Доступ до структурованих освітніх даних у такому масштабі раніше був обмежений для добре фінансованих організацій.

Завдяки наданню альтернативи, QVAC Genesis II може підтримати експерименти з меншими моделями, локальним тренуванням і дослідженнями пояснюваного AI.

Цей набір даних також може слугувати еталоном для майбутніх проектів синтетичних даних, що орієнтовані на якість логіки понад кількість.

Позиція у ширшій екосистемі AI

QVAC Genesis II входить у екосистему AI, яка швидко розвивається і зосереджує ресурси. Багато найпотужніших моделей навчені на закритих наборах даних, що недоступні для перевірки або відтворення.

Відкриті набори даних, такі як Genesis II, пропонують противагу, забезпечуючи прозорість і спільний прогрес. Вони також порушують питання про те, як відкриті ресурси можуть співіснувати з комерційним розвитком AI.

Залучення компанії, що має корені у фінтехі та цифрових активах, підкреслює, як дослідження AI привертає інтерес різних галузей поза традиційними технологічними компаніями.

Доступність і подальші кроки

Повна технічна документація до набору даних під назвою “QVAC Genesis II: Розширення найбільшого та найвищої якості багатогалузевого освітнього синтетичного набору даних для попереднього навчання” опублікована у блозі досліджень QVAC. Доступ до набору даних і пов’язаних моделей можна отримати через Hugging Face.

QVAC заявила, що планує продовжувати вдосконалювати свої методи та розширювати освітнє охоплення у майбутніх релізах. Відгуки дослідницької спільноти відіграють важливу роль у формуванні наступних версій.

Подальший рух у напрямку відкритих основ

З релізом Genesis II QVAC підсилює свою позицію щодо того, що відкриті, структуровані навчальні дані є необхідними для створення надійних систем AI. Випуск відображає погляд, що інтелект має базуватися на логіці та поясненнях, а не лише на статистичних асоціаціях.

Оскільки системи AI стають дедалі більш інтегрованими у сфери освіти, науки та фінансових послуг, які включають фінтех-застосунки, якість їхніх навчальних даних залишатиметься центральним питанням.

Поки що розширений набір Genesis є значним внеском у відкриті дослідження AI, пропонуючи масштаб, структуру та доступність на рівні, що рідко спостерігається поза межами закритих систем.