IOSG: Чому представники Волл-стріт кажуть «ні» ChatGPT та Claude?

Оригінальна назва：《IOSG Weekly Brief｜Перехрестя для ШІ: чому хлопці з Волл-стріт говорять “ні” ChatGPT і Claude? #336》
Оригінальне джерело: IOSG Ventures

Навіщо потрібен приватний ШІ

1 липня генеральний директор Palantir Алекс Карп дав на CNBC 20-хвилинне інтерв’ю, яке деякі медіа назвали «емоційним зривом». За словами Карпа, компанії платять токен-премії передовим лабораторіям для проведення експериментів, а тим часом їхні власні IP стікають до постачальників моделей. Він називає це «перенесенням alpha», і стікає це на архітектурному рівні: кожен запит до закритої моделі надходить до серверів сервіс-провайдера у вигляді відкритого тексту. За кілька днів до виходу сюжету Palantir щойно оголосила про співпрацю з NVIDIA — запуск відкритої моделі Nemotron у середовищі, яке контролює клієнт, а також додала декларацію про суверенітет ШІ з дев’яти пунктів. Після ефіру CNBC PLTR підскочила на 8%.

Упродовж минулих двадцяти років підприємства покладалися на довіру на рівні протоколів, щоб впроваджувати хмарні програмні рішення — і це працювало. Кожен SaaS-вендор бачить лише фрагменти даних компанії, і більшість не має особливої мотивації повертати дані клієнтів як «відповідь» у ключовий продукт. Salesforce бачить продажі, Workday — кадри, Jira — розробку та ітерації, а AWS забезпечує базову інфраструктуру для зберігання й обчислень. Проте сьогодні робочі процеси ШІ вимагають одноразово завантажувати весь майновий «скарб», включно з структурованим контекстом, який з’єднує різні підрозділи, щоб максимізувати продуктивність. Відкиньмо добрі наміри: тепер постачальники сервісів можуть використати ці дані для нових функцій, а не просто тримати їх у серверах «для галочки».

Ніхто не гальмує: річна темпова оцінка виручки Anthropic у травні досягла $47 млрд, що значно перевищує $9 млрд на кінець 2025 року, а OpenAI у лютому перетнув позначку в 900 млн активних користувачів щотижня. Обидві компанії цієї весни завершили новий раунд фінансування — оцінка наближається до $1 трлн, і прогнозується, що вони проведуть IPO з більш високою ринковою капіталізацією. Багаторічні звинувачення у приватності та IP не змусили жодну з компаній втратити бодай трошки імпульсу.

Деякі компанії вже вжили дії. У лютому 2023 року, менш ніж за три місяці після релізу ChatGPT, ключові банки Волл-стріт уже обмежили його використання. У травні 2023 року, після того як інженер з Samsung витік код чипа в ChatGPT, компанія по всій мережі заблокувала генеративний ШІ. У відповідь у серпні того ж року OpenAI запустила ChatGPT Enterprise, пообіцявши не тренуватися на комерційних даних і додавши протокол нульового збереження даних (zero-data-retention, ZDR) — і згодом саме він став стандартною вимогою для закупівель компаніями.

Але контракти «закривали» лише корпоративні облікові записи. IBM виявила, що до 2025 року shadow AI (коли працівники через особисті акаунти «годовують» дані компанії в неперевірені інструменти ШІ) втягувався у 1/5 інцидентів із витоком даних, а активне використання shadow AI додає в середньому до вартості витоку ще $670 тис. У дослідженні 2025 року від компанії з навчання безпеки Anagram четверо працівників сказали, що заради швидшого виконання задач вони готові порушувати політику використання ШІ.

Компанії принаймні можуть купити «коридор виходу»: контракти ZDR, сервісні тарифи без тренування. Якщо ви уряд або клієнт Palantir — то ще й суверенний деплой. Але для таких як ми звичайних користувачів питання, наскільки важлива приватність для ШІ, досі залишається дискусійним — аж доки повістка суду не постукає в двері.

Судовий наказ від травня 2025 року змусив OpenAI зберігати навіть споживчі чати, які користувачі вже видалили: у листопаді суддя також постановив передати 20 млн записів адвокатам «The New York Times» як матеріал для розкриття доказів. Далі — кримінальні справи: у справі про підпал Палісейдс записи ChatGPT підсудного потрапили як доказ; у присяжній заяві у флоридській справі про вбивство двох людей посилалися на запитання підозрюваного щодо того, як поводитися з тілами. Сем Альтман також визнав у липневому інтерв’ю 2025 року, що діалоги ChatGPT не захищені юридичною привілеєю; у судовому процесі OpenAI «може бути зобов’язана передати» записи чатів користувачів.

Ключове не в тому, що лише злочинцям потрібні приватні розмови. Люди й ШІ ведуть діалоги, які зберігають, їх можна викликати в суд — і це одна з форм контролю, про існування якої більшість користувачів навіть не здогадується. Опитування Kolmogorov Law у жовтні 2025 року серед 1000 користувачів ШІ в США показало: 50% людей не знали, що ці діалоги можна викликати в суд, а 2/3 вважали, що цим чатам слід надати рівний захист із консультаціями адвокатів чи лікарів.

Відкрите ядро — моделі, що працюють у себе (self-hosted) або в верифікованому середовищі, — швидко наздоганяють, але найсильніші з них у загальних можливостях усе ще відстають від передових закритих моделей приблизно на 4 місяці. Це ставить tokenmaxxing компанії й приватних осіб на роздоріжжі: або заради цієї приватності відмовитися від кількох місяців якості моделей, або продовжувати передавати чутливі матеріали на сервери Anthropic, бо конкуренти саме так здобувають перевагу в продуктивності.

Наразі на ринку немає ідеального рішення. У звіті зібрано спроби різних сторін скоротити розрив — як далеко ще «передовий інтелект під доказовою приватністю» треба пройти, перш ніж його можна буде доставити компаніям і звичайним користувачам.

Як зараз реалізується приватність

Приватний ШІ — це не один-єдиний інженерний проєкт, але кожен із механізмів на ринку обробляє ту саму подію: prompt залишає ваш пристрій, проходить через мережу, потрапляє на машину, де запускається модель, а потім повертається відповідь. Відмінність між механізмами полягає в тому, де саме вздовж цього шляху присутній відкритий текст, хто може його прочитати, і на чому ґрунтується перевірка приватності відповіді.

Приватність на рівні протоколів

На цьому рівні, крім вас, є ще хтось, хто читає ваш відкритий prompt; що відбуватиметься далі — визначає одна обіцянка.

· Контрактна нульова ретенція — це рішення для enterprise. Сервіс-провайдер знає, хто ви, обробляє ваш prompt і обіцяє нічого не зберігати; виконання забезпечується контрактом і репутацією.

· Анонімний проксі прибирає з вашого боку ідентичність, але не шифрує те, що ви говорите; нижчі сервіс-провайдери все одно обробляють відкритий текст за власними політиками. Умови відрізняються в різних компаній: наприклад, Duck.ai (чат-бот продукт DuckDuckGo) такі проксі ведуть переговори з постачальником моделей про видалення; Venice натомість змушує користувача виходити з припущення, що сервіс-провайдер збереже все. Але і там, і там немає можливості це верифікувати.

Кожна ділянка шляху між машинами йде поверх TLS: він шифрує канал, але сторона, яка приймає, може прочитати всю інформацію. Ретранслятори зазвичай використовують Oblivious HTTP (RFC 9458), щоб розділити це «знання». Принцип як у листочках: друг знає, хто передав, але не може прочитати зміст; отримувач може прочитати зміст, але не знає, хто написав. З 1 січня 2024 року OHTTP є стандартом IETF, і наразі багато компаній проганяють production-трафік через OHTTP-реле, орендовані в Cloudflare та Fastly.

Це також верхня межа приватності, яку можна отримати, звертаючись до закритих моделей. Причина — арифметична задача. Вартість одного флагманського тренування сьогодні — в масштабі мільярдів доларів, а оцінка лабораторій на рівні десятків трильйонів доларів робиться на ексклюзиві ваг моделі. Різниця в можливостях моделей протримається стільки, скільки протримається премія, тому лабораторії охороняють файли ваг як державну таємницю.

Meta вже пасивно провела цей експеримент. У лютому 2023 року LLaMA спочатку доступна лише дослідникам, але вже менше ніж за тиждень ваги витекли у вигляді seeds на 4chan. Ще через тиждень llama.cpp дозволив запускати мінімальну 7B-модель локально на MacBook, а через три дні Стенфорд підкрутив той самий модельний варіант менше ніж за $600 доларів (fine-tuning) в чат-асистент Alpaca. Цей витік «вбив» вартість запуску Llama до рівня електрики: будь-хто, хто дістав файли, може запускати це вдома. У липні 2023 року Meta офіційно відкрила Llama 2 за комерційною ліцензією з умовами виключення для 700 млн MAU. Ваги «побігли» — і премія разом із ними.

Теоретично передові лабораторії можуть зробити attestation (віддалене підтвердження) для inference в закритих моделях, але attestation здатен довести, який саме фрагмент коду прочитав prompt, однак не може довести, що цей код зробив із ним далі. Щоб з’ясувати, чи сервер зберігає дані, потрібен аудит коду сервінгу (serving code) і перебудова до того хешу, який повідомляє залізо. Та щойно лабораторія віддає serving code, вона також віддає batch- та кеш-лайфхаки, що підтримують маржу прибутку — а ці трюки переносяться на кожне майбутнє покоління моделей. Apple і Meta здатні робити remote attestation для сервіс-стека за iPhone та WhatsApp, бо їхні прибутки сидять на пристроях і в рекламі; відкритий serving code майже не коштує додаткових витрат.

Ось чому ваги флагманських моделей і код сервінгу не можуть потрапити до зовнішніх операторів. А без зовнішнього оператора немає третьої сторони attestation, і тоді доказова приватність існує лише поверх open-source моделей.

Приватність на рівні структури

У цій категорії кожен механізм замінює обіцянки довіри доказами, заснованими на залізі, криптографії або фізичних принципах, але кожен із них платить різні «витрати» за підвищення приватності; перш за все — вони працюють лише з open-source моделями.

· TEE (Trusted Execution Environment) конфіденційні обчислення переносять inference в hardware enclave (герметичну капсулу на чипі, яку не може відкрити навіть оператор машини), де вона виконується; чип підписує attestation, зазначаючи, яка саме модель і яка частина коду були запущені.

· prompt «запечатують» лише в точці призначення. Через проміжний проксійний маршрут усе ще існує роль, яка може читати відкритий текст; а те, що блокує запис або витік проміжного транзиту, забезпечує лише протокол.

· E2EE (end-to-end encryption, наскрізне шифрування) закриває доступ до читання ретранслятора. Пристрій користувача шифрує prompt ключами enclave; на кожному переході з собою носиться тільки запечатований конверт, який розпаковувати може лише enclave.

· Довіра лягає на клієнта. Код, що відповідає за шифрування prompt і перевірку attestation, так само має можливість відкликати цю гарантію. Тому доказовий E2EE потребує як доведеною enclave, так і відкритого та відтворюваного коду клієнта.

· Порівняно з TEE, E2EE має простіший результат, але ціною є інженерний тягар, і це уповільнює інтеграцію функцій. E2EE перетворює проксі на «сліпого» посильного, тому всі функції, які працюють через читання відкритого тексту, мають бути або перебудовані навколо ключів клієнта, або відтворені лише всередині enclave.

· FHE (Fully Homomorphic Encryption — повністю гомоморфне шифрування та його варіанти MPC) взагалі прибирає довірену сторону. Сервер робить обчислення над шифротекстом у «зачиненій» коробці, яку він ніколи не зможе відкрити; ключ лишається лише в вас. MPC (multi-party secure computation) розбиває prompt на секретні частки між кількома сторонами — і якщо всі учасники не змовляться, ефект еквівалентний.

· Ціна — швидкість. FHE «з коробки» вміє лише додавання та множення, тож усі нелінійні кроки, які потрібні transformer-у, мають бути відтворені за високою ціною. Вартість inference на шифротексті — у 10 000–100 000 разів вища, ніж на відкритому тексті: навіть на малих моделях кожен token може вимагати від кількох секунд до кількох хвилин, тоді як без шифрування це займає мілісекунди.

· Чипи, оптимізовані під шифровані операції, можуть скоротити розрив, але перший прототип має зробити demo тільки на початку 2026 року; комерційні версії — ще за кілька років.

· Локальний inference просто прибирає цей шлях. Модель запускається на вашому власному залізі: немає ретранслятора, сервера, сервіс-провайдера, і немає потреби в верифікації.

· Очевидна ціна — вартість і можливості моделей. gpt-oss-120b в індексі Artificial Analysis набирає приблизно половину від GLM-5.2, але важить 65GB — більше, ніж сукупна пам’ять двох флагманських ігрових GPU з ринку. А повної точності GLM-5.2 можна запускати лише на 8-карткових дата-центр вузлах; лише GPU виходить понад $300 тис.

Однак понад ці структурні обмеження, вартість запуску inference в enclave вже стискається. На single-card inference енклав-сервіс-провайдер Phala у бенчмарках показує: throughput loss для enclave-режиму в середньому менший ніж 7%, а на великій моделі — майже нуль, бо основна вартість у перенесенні даних у чип, а не в обчисленнях усередині. На multi-card inference нове покоління GPU NVIDIA Blackwell підтримує пряму прямошифровану передачу трафіку між чипами; старому H100 для досягнення того самого ефекту доводиться обходити через CPU хост, використовуючи лише 1/7 пропускної здатності. У своїх власних бенчмарках на Blackwell NVIDIA показує, що для моделі 397B в enclave-режимі throughput loss нижчий за 8%. Завдяки цим досягненням самі втрати продуктивності приватного inference перестали бути вирішальним обмеженням.

Насправді enclave майже не додає операторам додаткових витрат на запуск. Після 2023 року кожен H100 вже має enclave-режим; додаткова вартість — це втрати throughput від шифрування, а не додаткові чипи. Наразі на Azure ціна оренди конфіденційних H100 SKU все ще $8.90 за годину, тоді як без enclave це $6.98 за годину — тобто надбавка 27% до традиційних хмарних інфраструктур. З іншого боку, на спеціалізованих операторах на кшталт Phala конфіденційний режим H100 здається в оренду від $3.80 за годину — нижче цінового діапазону $3.99–$4.29 для звичайних SXM-карт Lambda. У моделях managed API: NEAR AI із attestation endpoint-ами вважає $0.15 за 1 млн токенів входу й $0.55 за 1 млн токенів виходу для gpt-oss-120b — на рівні Amazon Bedrock, Together і Groq на plaintext маршрутах. Навіть для моделей, яким потрібна паралельність із кількох чипів, NEAR AI на GLM 5.2 ціни тримає рівно як Fireworks, а на більшій Kimi K2.6 вхід дешевший на 15%, вихід — на 4%.

Хоча ці нові сервіси приватного inference можуть спалювати прибуток, щоб захопити частку (це справедливо для будь-якої компанії, яка хоче рости на ринку), структурний тренд такий: витрати приватності для споживачів і для операторів знижуються.

Як виграють open-source моделі?

Навіть якщо витрати на продуктивність стискаються, між передовими моделями та SOTA open-source моделями все ще існує видимий людському оку розрив: якщо суб’єкт прагне максимізації продуктивності, залишатися на передньому краї означає довіряти передовим лабораторіям, що вони не вкрадуть ваш IP.

Розрив є, але 30 червня Bridgewater підрозділи AIA Labs і Thinking Machines навели кейс: open model, яку доопрацювали через fine-tuning із експертними розмітками, змогла обійти передову модель і в точності, і в вартості.

У дослідженні команда fine-tune’ила Qwen3-235B на Tinker (managed fine-tuning API сервіс Thinking Machines). Спочатку вони купили розмічені дані у постачальника, навчилися на першому раунді з цими даними, а потім конфліктні приклади (суперечливі зразки) передали інвестиційним працівникам компанії, щоб ті заново зробили розмітку. Тренування виконувалося через reinforcement learning (GRPO) із трьома додатковими модифікаціями: round-robin batching (черговість задач у вигляді батчів), CISPO loss (обмеження того, як далеко одна відповідь може «потягнути» модель за її межу), on-policy distillation (якір на поточний найкращий checkpoint, щоб модель не вчилася на слабших копіях).

Усі задачі взяли з повсякденних робочих процесів інвестиційних працівників: чи важлива одна стаття для інвест-професіоналів рівня C-suite; чи документ центрального банку натякає на напрям майбутніх змін ставок; з якого місця починаються шаблонні фрази в документі або листі. Оцінки походили з незалежного тестового набору: середній показник передових моделей на простих prompt — близько 50%; а з експертними prompt лише 78.2%, що нижче порогу 80%, поставленого інвестиційними працівниками. Fine-tuned Qwen отримала 84.7% — за викладом у першоджерелі це означає 29.8% менше помилок, ніж у передового лідера, і при цьому вартість inference нижча в 13.8 рази.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Цей кейс доводить, що open-source моделі можуть вигравати і за точністю, і за вартістю, але процес тренування все ще не є приватним. Експертні розмітки, використані в процесі, є приватними даними Bridgewater; вони проходили через Tinker — третій-сторонній сервіс — і потрапляли в той самий рівень довіри, що й угоди ZDR. Фонд також орендував обчислення, тож усе тренування виконувалося на машинах, якими він ніколи не керував. Щоб повторити цей рецепт і водночас не хотіти мати припущення довіри, сьогодні варіантів небагато. Орендувати bare GPU-кластер: тоді процес тренування читається хмарним оператором. Купити кластер вирішує проблему з розміщенням даних, але вартість злітає в космос.

Маршрут із attestation щойно з’явився. У березні Workshop Labs і Tinfoil випустили Silo — stack для post-training, що працює всередині Tinfoil enclave на одиничному 8-картковому вузлі, а ключі керуються лише клієнтом. В статті вказано вартість enclave: тренування на 2 години коштує на 11 хвилин більше, а ця stack може вмістити модель з трильйона параметрів (Kimi K2 Thinking), бо вона заморожує базові ваги й тренує тільки невеликий adapter. Трудність у тому, що reinforcement learning потребує багаторазово переносити дані між компонентами — а переміщення даних якраз і є тим місцем, де виникає вартість enclave.

Менш ніж через місяць після виходу Silo Workshop Labs викупили Thinking Machines: тепер у enclave запускають наступний Bridgewater-подібний RL-цикл, компоненти для якого належать уже одній компанії.

Приватність шару Harness

Є ще одне питання, яке стоїть осторонь від усіх механізмів private inference. Вони кожен працюють із шляхом від prompt до моделі, але agent викликає кожен зовнішній інструмент — і тим самим відкриває шлях, до якого inference-«шар», захищений цими механізмами, взагалі не дістає. Нещодавній тренд harness engineering лише множить проблему: кожен інструмент, memory-репозиторій і джерело даних, підключені навколо моделі, стають черговою «точкою призначення», яка читає свій фрагмент workflow у вигляді відкритого тексту. Календарний сервер читає розклад, сервер бази даних читає запит. Якщо agent повністю працює локально, а йому потрібна будь-яка інформація поза навчальним набором, він все одно має передати слова пошукового запиту у вигляді відкритого тексту пошуковій системі; якщо сервіс не може прочитати відкритий текст, відповіді не буде.

Поширене рішення досі «за замовчуванням» спирається на рівень протоколів. Компанії на кшталт Runlayer і MintMCP використовують центральний шлюз, який керує всім потоком інструментів; перед тим як запит покине систему, він маскує особисту ідентифікаційну інформацію (PII). Шлюз також вирішує, які сервери отримають трафік: усе без перевірки блокується, а для кожного виклику записуються пункт призначення й вміст, щоб мати матеріал для доказів. Навіть якщо ці контроли прив’язані до незалежного аудиту (SOC 2), сервісний інструмент все одно має читати запит у відкритому вигляді, щоб відповісти; чи залишає він копії, залежить від власних умов збереження, і додатково все це множиться на кожен інструмент у harness. І сам шлюз — це теж додатковий «читач довіри» в ланцюжку, а не верифікація.

Рішення на рівні структури вдаряє по проміжній ланці. Наприклад, Phala розміщує MCP server прямо в TEE: він огортає гаманці, виконання коду та джерела даних; користувач може верифікувати декларації про приватність через attestation, а не довіряти оператору. Проте інструменти, які працюють у TEE, зрештою все одно мусять віддати запит сервіс-провайдеру у вигляді відкритого тексту. enclave запечатує лише посильного, але не кінцеву точку призначення.

Лише небагато точок призначення навчилися відповідати, не читаючи, але це обмежується структурованими запитами. Apple надає iPhone private information retrieval: під час звірки номера телефону з базою спам-дзвінків не потрібно розкривати номер; Microsoft у Edge для паролів використовує той самий підхід. MongoDB’s Queryable Encryption дозволяє клієнту шифрувати поля ще до того, як вони покинуть пристрій; сервер може зробити еквівалентні та діапазонні зіставлення тільки по шифротексту.

Але для відкритого пошуку сьогодні найкращі відповіді впираються в довіру — доказово зашифрований пошук ще не вийшов із лабораторій. Brave у власному індексі 40 млрд сторінок (не в Google) обіцяє zero-data-retention, але все одно це реалізовано на рівні протоколів. Exa збудував нейромережевий індекс, перетворюючи ключові слова користувача в семантичні вектори й сортує результати за семантичною відповідністю, але етап embedding усе одно обчислюється на серверах Exa з відкритого тексту. Папер Tiptoe від MIT 2023 року відсортував на 360 млн вебсторінок без розкриття запитів, але кожен пошук «спалює» значну частину обчислювальних потужностей серверів, а якість сортування поступається незашифрованому пошуку. Папір Wally від Apple за 2024 рік ховає реальний запит у купі «лічильників»-прикметників (decoy), знижуючи витрати на комунікацію до максимуму в 31 раз, але ці математичні викладки стають дешевими тільки при мільйонах одночасних запитів — а на сьогодні жодна система приватного пошуку не має такого масштабу.

Зашифрований пошук зробити можна, але продуктивність і ціна поки не дотягують до рівня комерційної життєздатності.

Перспективи

Попит на приватний ШІ зростає. Venice AI нещодавно перевищив 3.5 млн зареєстрованих користувачів і пропускну здатність 1.3 трлн токенів на місяць, а потім завершив новий раунд equity фінансування Series A на $100 млн. Proton — його прямий конкурент: його чат-продукт Lumo запущено лише на рік, але кількість користувачів вже перевищила 10 млн. У сфері інфраструктури Phala наразі щодня проганяє 2–3 млрд токенів через OpenRouter. Duck.ai маршрутизує gpt-oss-120b і Gemma в enclave Tinfoil, даючи користувачам приватність із верифікацією, не просто «агенти-посередники». Це ще не враховує self-hosting — і, ймовірно, це може бути найбільший канал приватного inference, адже модель працює на власному залізі й не залишає жодних слідів використання.

Втім, у хвилі мейнстримного AI приватний ШІ — лише дуже мала частина, і цей розрив зійдеться тільки тоді, коли передові лабораторії навмисно задовольнять цей запит. У травні Google обробила 32 млн трлн токенів (3200 млн мільярдів?); якщо порахувати, то пропускна здатність Venice за місяць дорівнює приблизно 18 хвилинам у Google. У листопаді минулого року Google запустив Private AI Compute (PAC): деякі функції, що керуються Gemini, запускаються в окремому ізольованому герметичному TPU enclave для компанії, а NCC Group незалежно проводить аудит дизайну. Проблема в тому, що PAC охоплює лише деякі Pixel-функції — персоналізовані рекомендації, зведення записів голосу тощо — але не охоплює застосунки Gemini, якими користуються сотні мільйонів людей. Google міг передати дизайн на аудит, бо ці функції монетизуються через пристрої й рекламу, а не через продаж токенів.

Нинішні managed-рішення теж не ідеальні. Щоб отримати найвищу приватність через E2EE, треба чекати, поки сервісні функції буде перебудовано там, де постачальник не зможе читати. Приватні harness на рівні сервісу все ще залежать від протоколів. Для «правильної» post-training ціни, щоб отримати найкращий результат fine-tuning, все одно треба довіряти сторонньому постачальнику. Self-hosting дозволяє в один крок прибрати всіх сервіс-провайдерів, але якщо локально запускати найсильнішу open-source модель, грошей може знадобитися більше, ніж якщо б ви просто підключилися до будинку, в який вона «вставлена».

Недоліки — це недоліки, але приватний ШІ вже є реальним і доступним варіантом, і прогалини теж скорочуються. Для звичайних споживачів на Lumo та Venice: у приватних чатах з open model без журналювання немає сенсу платити за що-небудь; підписка Venice або Tinfoil за $18–$20 «запаковує» ті самі чати в enclave і не дорожча за підписку на ChatGPT. Для корпоративних workflow endpoints із attestation нині навіть дешевші, ніж plaintext route. Endpoint-типу NEAR’s E2EE API вже вміє переносити шифрований контекст в enclave; пам’ять, завантаження файлів, кастомні інструкції вже працюють поверх E2EE. А щодо post-training із attestation: NVIDIA вже скоро випустить Vera Rubin NVL72, який розширить конфіденційні обчислення від 8-карткового вузла Blackwell до 72-карткового стійкового ряду, тож передові RL-цикли ставатимуть ще більш здійсненними без розкриття IP.

Однак ключове захоплення вартості лежить поза тим рівнем, де ціни стискаються. Приватність у місцях, де вона вже існує, майже безкоштовна, але вона ще не покриває основні agentic workflow. Оператори, що спеціалізуються на оренді enclave, володіють «перемикачем» на стандартних чипах — це не фортеця. А шлюз на рівні протоколів змагається в одному полі з традиційним middleware. Оборонна позиція — це інша половина прогалин, які ще не закриті в цьому звіті: тренувальні цикли, заперті в enclave; tool call, що end-to-end закриті; пошукові індекси, які не можна побачити (не видно лексикону). Хто першим зробить хоча б одну з цих речей, продає те, що жодна цінова війна вже не перетворить на товар. Капітал, що женеться за приватним AI, має купувати прогалину, а не той «перемикач».

Тому питання: довіра чи верифікація? Для задач із повторним виконанням (re-execution) і важкими agent-циклами слід обирати довіру, бо кожен виклик інструмента за замовчуванням передає відкритий текст тій кінцевій точці, яку enclave не може запечатати; а передові моделі в таких циклах відповідають своїй ціні. А для «вищого мислення», яке відрізняє компанію від конкурента, слід обирати верифікацію. Стратегія, планування, і судження, виведені з багаторічного професійного досвіду — це саме та суперечлива частина alpha, про яку йдеться в цій історії. Шлях уперед — це робити fine-tuning open-source моделей у межах, які контролює компанія: використовувати ці власні інсайти, щоб підсилювати. У домені, де знаходиться alpha компанії, експертне налаштування open моделей уже одночасно обігрує передові за точністю та ціною; а інфраструктура для побудови цього в приватному середовищі приходить вузол за вузлом.

Оригінальне посилання

Натисніть, щоб дізнатися:律动 BlockBeats запрошує на вакансії

Ласкаво просимо приєднатися до офіційної спільноти 律动 BlockBeats:

Telegram канал підписки: https://t.me/theblockbeats

Telegram чат: https://t.me/BlockBeats_App

Офіційний Twitter акаунт: https://twitter.com/BlockBeatsAsia