IOSG : Pourquoi les acteurs de Wall Street disent « non » à ChatGPT et Claude ?

Titre de l’article : « IOSG Weekly Brief｜Au carrefour de l’IA : pourquoi Wall Street dit “non” à ChatGPT et Claude ? #336 »
Source : IOSG Ventures

Pourquoi une IA privée est nécessaire

Le 1er juillet, le PDG de Palantir, Alex Karp, a accordé sur CNBC une interview de 20 minutes que certains médias ont qualifiée de « crise de nerfs ». Selon Karp, les entreprises paient une prime en tokens pour les laboratoires de pointe, tout en voyant leur IP s’écouler vers les fournisseurs de modèles. Il qualifie cette fuite de transfert d’alpha, un transfert qui s’opère au niveau de l’architecture : chaque requête envoyée à un modèle fermé arrive sous forme de texte clair sur les serveurs du prestataire. À peine quelques jours avant la diffusion de l’émission, Palantir venait d’annoncer un partenariat avec NVIDIA pour exécuter le modèle ouvert Nemotron dans un environnement contrôlé par le client, avec en plus une déclaration de souveraineté de l’IA en neuf points. Après la diffusion de l’émission CNBC, PLTR bondit de 8 %.

Au cours des vingt dernières années, les entreprises ont pu adopter la confiance au niveau des protocoles via les logiciels cloud, et cela a fonctionné. Chaque éditeur SaaS ne voit que des fragments des données de l’entreprise, et la plupart n’ont aucune incitation à renvoyer les données clients au produit central. Salesforce voit les canaux de vente, Workday les ressources humaines, Jira l’itération du développement, AWS fournit la base de stockage et de calcul. Mais aujourd’hui, les flux de travail d’IA exigent un envoi unique de tout l’attirail, avec le contexte structuré reliant les différents départements, afin de maximiser la productivité. En faisant abstraction de la bonne volonté, les fournisseurs en amont peuvent désormais utiliser ces données pour de nouvelles fonctionnalités, au lieu de les laisser prendre la poussière sur des serveurs.

Personne ne ralentit. Le chiffre d’affaires annuelisé d’Anthropic atteint en mai 47 milliards de dollars, contre 9 milliards de dollars à la fin 2025, tandis qu’OpenAI, en février, dépasse 900 millions d’utilisateurs actifs hebdomadaires. Les deux entreprises ont bouclé au printemps une nouvelle levée de fonds, avec une valorisation qui frôle 1 000 milliards de dollars, et s’attendent à réaliser des introductions en bourse avec une capitalisation encore plus élevée. Des années d’accusations relatives à la confidentialité et à l’IP n’ont fait perdre à aucune des deux entreprises le moindre élan.

Une partie des entreprises a déjà agi. En février 2023, dans les trois mois suivant le lancement de ChatGPT, les principales banques de Wall Street en ont déjà limité l’usage. En mai 2023, après que des ingénieurs de Samsung ont divulgué le code source d’une puce dans ChatGPT, l’entreprise a banni l’IA générative sur tout le réseau. En réponse, en août de la même année, OpenAI lance ChatGPT Enterprise, promettant de ne pas entraîner avec des données commerciales, et ajoute un protocole de zero-data-retention (ZDR) avec conservation nulle des données ; ensuite, ce protocole devient une exigence standard dans les achats d’entreprises.

Mais les contrats verrouillent uniquement les comptes de l’entreprise. IBM a constaté qu’en 2025, l’ombre de l’IA (les employés alimentant les données de l’entreprise via des comptes personnels vers des outils d’IA non autorisés) est impliquée dans un cinquième des incidents de fuite de données, et que l’utilisation intensive de l’ombre de l’IA ajoute en moyenne 6,7 millions de dollars au coût des fuites. Dans une enquête de 2025 menée par la société de formation à la sécurité Anagram, quatre employés sur cinq déclarent qu’ils sont prêts à enfreindre les politiques d’usage de l’IA pour terminer plus vite leurs tâches.

Les entreprises peuvent au moins acheter une sortie de secours : des contrats ZDR, des offres qui ne s’entraînent pas, et si vous êtes un gouvernement ou un client de Palantir, un déploiement souverain. Pour nous, utilisateurs ordinaires, l’importance de la confidentialité de l’IA reste encore débattue, jusqu’à ce que des assignations judiciaires arrivent.

En mai 2025, une ordonnance judiciaire oblige OpenAI à conserver même les conversations de niveau grand public déjà supprimées par les utilisateurs. En novembre, le juge ordonne également de transmettre 20 millions de ces enregistrements aux avocats du « New York Times » comme matériel de divulgation de preuves. Puis viennent les affaires pénales : dans le dossier d’incendie criminel de Palisades, les enregistrements de ChatGPT de l’accusé sont admis comme preuve ; dans une affaire d’homicide de Floride à deux victimes, des déclarations sous serment citent les questions de l’intéressé sur la façon de traiter les corps. Sam Altman reconnaît aussi, dans une interview de juillet 2025, que les conversations ChatGPT ne sont pas protégées par le secret juridique : dans les procédures, OpenAI « pourrait être tenu de remettre » les historiques de discussion des utilisateurs.

L’enjeu n’est pas que seuls les criminels ont besoin de conversations privées. Les échanges entre les gens et l’IA sont archivés, peuvent être cités à comparaître, constituant ainsi une surface de surveillance que la majorité des utilisateurs ignorent. Une enquête de Kolmogorov Law en octobre 2025 auprès de 1 000 utilisateurs d’IA américains révèle que 50 % ne savent pas que ces conversations peuvent être citées à comparaître, et que les deux tiers pensent que ces discussions devraient bénéficier de la même protection que celle accordée à un avocat ou à un médecin.

Les modèles open source autogérés, ou déployés dans des environnements vérifiables, rattrapent rapidement. Mais les plus puissants restent encore en retard d’environ 4 mois sur les modèles fermés de pointe en capacités générales. Cela met les entreprises et les particuliers qui pratiquent le tokenmaxxing au carrefour : soit renoncer à la qualité de modèle sur quelques mois pour préserver cette confidentialité, soit continuer à envoyer des matériaux sensibles sur les serveurs d’Anthropic, car les concurrents volent précisément l’avantage productivité de cette façon.

À l’heure actuelle, le marché ne dispose pas de solution parfaite. Un rapport recense les tentatives pour réduire l’écart entre les approches, et examine à quel point l’intelligence de pointe, rendue observable quant à la confidentialité, est encore loin d’être livrée aux entreprises et aux utilisateurs ordinaires.

Comment la confidentialité est (actuellement) réalisée

L’IA privée n’est pas un seul type d’ingénierie, mais sur le marché, chaque mécanisme traite le même événement : une invite (prompt) quitte votre appareil, traverse le réseau, arrive sur la machine qui exécute le modèle, puis une réponse revient. La différence entre les mécanismes réside dans l’endroit où le texte en clair existe sur ce trajet, qui peut le lire à cet endroit, et sur quels moyens on peut vérifier la confidentialité des réponses.

Confidentialité au niveau des protocoles

À ce niveau, en dehors de vous, quelqu’un peut lire votre prompt en clair ; la suite ne dépend plus que d’une promesse.

· Zéro conservation “contractuelle” : solution pour entreprise. Le prestataire sait qui vous êtes, traite votre prompt et s’engage à ne pas conserver ; l’exécution repose sur le contrat et la réputation.

· Proxies anonymes : ils effacent qui vous êtes, mais ne chiffrent pas ce que vous dites ; le prestataire en aval traite toujours le texte en clair selon sa propre politique. Les conditions varient selon les acteurs : par exemple, Duck.ai (le produit chatbot de DuckDuckGo) négocie avec le fournisseur de modèles un accord de suppression ; Venice, lui, demande aux utilisateurs de supposer que le prestataire conservera tout, mais les deux parties ne peuvent pas vérifier.

Chaque segment de chemin entre machine et machine passe par TLS. Celui-ci chiffre le conduit, et la partie réceptrice peut lire toutes les informations. Les relais utilisent généralement Oblivious HTTP (RFC 9458) pour séparer ce droit de connaître. Le principe ressemble à celui d’une note remise par un ami : l’ami sait qui remet la note, mais ne peut pas lire son contenu ; le destinataire peut lire le contenu, mais ne sait pas qui l’a écrit. OHTTP est devenu une norme IETF depuis janvier 2024 ; aujourd’hui, de nombreuses entreprises font tourner le trafic de production sur des relais OHTTP loués à Cloudflare et Fastly.

C’est aussi la limite de confidentialité accessible en accédant à un modèle fermé : une question d’arithmétique. Le coût d’une formation “flagship” aujourd’hui se compte en milliards de dollars, et les valorisations à près de 10 000 milliards de dollars de ces laboratoires misent sur l’exclusivité des poids du modèle. Combien de temps l’écart de capacités durera, la prime durera, donc les laboratoires gardent les fichiers de poids comme un secret d’État.

Meta a déjà mené cette expérience de manière passive. En février 2023, la LLaMA publiée n’était initialement accessible qu’aux chercheurs ; moins d’une semaine après, les poids ont fui sous forme de graine vers 4chan. Une semaine plus tard, llama.cpp permettait déjà de faire répondre localement le plus petit modèle de 7B sur un MacBook ; trois jours après, Stanford a encore affiné avec moins de 600 dollars ce même modèle pour en faire un assistant conversationnel, Alpaca. Cette fuite a ramené le coût de fonctionnement de Llama jusqu’à la facture d’électricité : toute personne ayant le fichier peut le lancer chez elle. En juillet 2023, Meta ouvre officiellement Llama 2 sous licence commerciale avec une clause d’exclusion incluant 700 millions d’utilisateurs actifs mensuels. Les poids ont couru, la prime a couru derrière.

En théorie, les laboratoires de pointe peuvent faire de l’attestation pour l’inférence des modèles fermés (preuves à distance). Mais l’attestation ne peut prouver quelle portion de code a lu le prompt ; elle ne peut pas prouver ce que ce code en fait. Pour savoir si le serveur conserve des données, il faut auditer le code de service (serving code) et le refactoriser vers le hash rapporté par le matériel. Mais dès qu’on livre le code de service, le laboratoire livre aussi les astuces de batch et de cache qui soutiennent les marges de profit ; et ces astuces migrent vers chaque future génération de modèles. Apple et Meta peuvent fournir des preuves à distance pour les stacks de service derrière l’iPhone et WhatsApp, car leurs profits viennent de l’appareil et de la publicité, et la divulgation de code de service public coûte presque rien.

Voilà pourquoi les poids du modèle phare et le code de service ne peuvent pas atteindre des opérateurs externes. Sans opérateur externe, pas de tierce attestation : la confidentialité vérifiable ne peut exister que sur les modèles open source.

Confidentialité au niveau de la structure

Dans cette catégorie, chaque mécanisme remplace les promesses de confiance par des preuves basées sur le matériel, la cryptographie ou la physique. Mais chacune nécessite un coût différent pour “mettre à niveau” la confidentialité, et surtout : elles ne peuvent fonctionner que sur des modèles open source.

· TEE (environnements d’exécution dignes de confiance) / calcul confidentiel : l’inférence s’exécute dans un enclave matériel (une capsule scellée sur puce, que même l’opérateur de la machine ne peut pas ouvrir). Le chip signe une attestation indiquant quel modèle exact et quelle portion de code exactement s’exécutent.

· Le prompt n’est “scellé” qu’à l’arrivée. Sur la route transitée via un proxy, il reste un rôle capable de lire le texte en clair ; et ce n’est que le protocole qui empêche que le proxy enregistre ou divulgue le contenu du transit.

· E2EE (chiffrement de bout en bout) : il bouche les relais lisibles. Le terminal utilisateur chiffre le prompt avec la clé de l’enclave ; à chaque saut, chaque relais transporte uniquement une enveloppe scellée que seul l’enclave peut déchiffrer.

· La confiance retombe sur le client. Le code qui chiffre le prompt et qui vérifie l’attestation a aussi la capacité de révoquer cette garantie. Ainsi, une E2EE vérifiable nécessite à la fois une enclave prouvée et un code client ouvert et reproductible.

· Par rapport à la simplicité d’un TEE, le coût de l’E2EE est une charge d’ingénierie, ce qui ralentit l’intégration des fonctionnalités. L’E2EE transforme les proxies en messagers aveugles. Toutes les fonctionnalités qui dépendent de la lecture du texte en clair doivent alors être reconstruites autour des clés client, ou reconstruites uniquement à l’intérieur de l’enclave.

· FHE (chiffrement entièrement homomorphe, et variantes MPC) supprime carrément l’intermédiaire de confiance. Le serveur effectue des calculs sur le chiffré dans une boîte verrouillée qu’il ne peut jamais ouvrir ; la clé reste uniquement entre vos mains. MPC (calcul multipartite sécurisé) découpe le prompt en parts secrètes et les distribue à plusieurs parties ; sauf si tous les participants conspirent, le résultat est équivalent.

· Le coût, c’est la vitesse. Nativement, FHE sait surtout faire des additions et des multiplications ; les étapes non linéaires nécessaires au fonctionnement du transformer doivent donc être reconstruites à un coût élevé. Le coût d’inférence sur le chiffré est de 10 000 à 100 000 fois celui du texte en clair. Sur les petits modèles, chaque token peut coûter de quelques secondes à quelques minutes, alors qu’en absence de chiffrement, cela ne prend que des millisecondes.

· Des puces conçues pour des opérations chiffrées ont des chances de réduire l’écart, mais le premier prototype ne réalisera une démo qu’au début 2026 ; la version commerciale devra encore attendre plusieurs années.

· Inférence locale : elle supprime cette voie. Le modèle s’exécute sur votre matériel ; pas de relais, pas de serveur, pas de prestataire, et aucune exigence de vérification.

· Il est évident que le coût, lui, vient avec : la dépense et les capacités du modèle. gpt-oss-120b obtient sur l’indice Artificial Analysis un score d’environ la moitié de GLM-5.2, mais il fait 65 GB, soit plus que la somme de la mémoire de deux cartes graphiques “flagship” disponibles sur le marché. Et GLM-5.2 en précision totale ne peut tourner que sur des nœuds data center à 8 cartes ; rien que les GPU représentent plus de 300 000 dollars.

Cependant, au-delà de ces limites structurelles, le coût d’inclure l’inférence dans l’enclave est en train de se réduire. Sur une inférence monocarte, les tests de base du fournisseur cloud d’enclaves Phala montrent une perte de débit moyenne de moins de 7 % en mode enclave sur H100, et proche de zéro sur les grands modèles. La raison : le principal coût consiste à déplacer les données dans la puce, pas à calculer à l’intérieur. Sur une inférence multi-cartes, les nouveaux GPU NVIDIA Blackwell prennent en charge le chiffrement direct du trafic entre puces ; et sur l’ancien H100, obtenir le même effet nécessite de passer par la bande passante du CPU à hauteur d’un septième. Les benchmarks internes de NVIDIA sur Blackwell indiquent que pour un modèle 397B, la perte de débit en mode enclave est inférieure à 8 %. Avec ces progrès, la surperte de performance de l’inférence privée elle-même n’est plus la contrainte déterminante.

En fait, l’enclave elle-même ajoute presque aucun coût supplémentaire à l’opérateur. Chaque H100 après 2023 intègre déjà le mode enclave. Le coût additionnel correspond à la perte de débit due au chiffrement, et non à des puces en plus. Sur Azure, le prix de location des SKU H100 “confidential” reste à 8,90 dollars par heure ; sans enclave, c’est 6,98 dollars par heure, soit une majoration de 27 % par rapport aux infrastructures cloud traditionnelles. À l’inverse, chez des opérateurs spécialisés comme Phala, les H100 en mode confidentiel se louent à partir de 3,80 dollars par heure, en dessous de la fourchette 3,99 à 4,29 dollars de Lambda pour des cartes SXM ordinaires. En formule API hébergée, avec attestation, NEAR AI facture des points d’extrémité : 0,15 dollars par million de tokens en entrée et 0,55 dollars en sortie pour gpt-oss-120b, au niveau des offres Amazon Bedrock, Together et Groq en mode texte clair. Même pour des modèles nécessitant un parallélisme multi-puces, NEAR AI au niveau des prix est identique à Fireworks sur GLM 5.2 : l’entrée est 15 % moins chère et la sortie 4 % moins chère sur le Kimi K2.6 plus grand.

Même si ces nouveaux fournisseurs d’inférence privée peuvent griller des profits en cherchant à gagner des parts (ce que toute entreprise cherchant à grandir connaît dans le marché), la tendance structurelle est que le coût de la confidentialité baisse pour les consommateurs comme pour les opérateurs.

Comment les modèles open source peuvent-ils gagner ?

Malgré la compression des surcoûts de performance, l’écart entre les modèles de pointe et les modèles open source SOTA reste perceptible à l’œil nu. Pour un acteur qui cherche à maximiser la productivité, rester au tout premier rang implique de faire confiance aux laboratoires de pointe de ne pas voler son IP.

L’écart existe toujours. Mais le 30 juin, un cas présenté par AIA Labs (au sein de Bridgewater) et Thinking Machines fournit un exemple : un modèle ouvert affiné avec des données annotées par experts bat simultanément les modèles de pointe en précision et en coût.

Dans l’étude, l’équipe a affiné Qwen3-235B sur Tinker (le service d’API d’affinage micro-contrôlé géré par Thinking Machines). Ils ont d’abord acheté des données annotées auprès d’un fournisseur, entraîné une première ronde avec cet ensemble, puis ont transmis les échantillons divergents aux investisseurs de l’entreprise pour les re-annoter. L’entraînement utilise le renforcement (GRPO), plus trois modifications : round-robin batching (en alternant un lot pour chaque tâche), CISPO loss (limite sur la distance que la réponse d’une seule ligne peut “tirer” le modèle), et on-policy distillation (ancrage sur le checkpoint actuellement optimal afin d’empêcher le modèle d’apprendre vers des copies plus faibles).

Toutes les tâches proviennent des flux de travail quotidiens des investisseurs : l’importance d’un article de presse pour des professionnels d’investissement au niveau C-suite, l’orientation que suggère un document de banque centrale pour des changements futurs de taux d’intérêt, et l’origine des formulations-types dans un document ou un email. Les scores proviennent d’un test set indépendant. En moyenne, le modèle de pointe atteint environ 50 % de score avec des prompts simples ; avec des prompts d’experts, il monte seulement à 78,2 %, en dessous de la barre de 80 % fixée par les investisseurs. Le Qwen après affinage atteint 84,7 % ; selon le sens du texte original, cela représente 29,8 % d’erreurs en moins que le modèle de pointe optimal, avec un coût d’inférence 13,8 fois inférieur.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Ce cas prouve que des modèles open source peuvent gagner en précision et en coût, mais le processus d’entraînement n’est pas encore privé. Les annotations par experts utilisées pendant le processus sont des données privées de Bridgewater. Elles passent par un service tiers de Tinker, et retombent sur le même niveau de confiance que le protocole ZDR. Le fonds a aussi loué de la puissance de calcul : tout l’entraînement tourne sur des machines qu’il ne contrôle jamais. Pour reproduire cette recette sans être obligé d’assumer l’hypothèse de confiance, les options d’aujourd’hui sont rares. Louer un cluster GPU “nu” : le processus est lisible par l’opérateur cloud. Acheter le cluster résout le problème d’hébergement des données, mais fait exploser les coûts.

La voie avec attestation vient juste d’arriver. En mars, Workshop Labs et Tinfoil ont publié Silo : une pile d’après-entraînement exécutée dans l’enclave Tinfoil sur un seul nœud à 8 cartes. La clé ne relève que du client. Le coût d’enclave présenté dans l’article : +11 minutes pour 2 heures d’entraînement ; et la pile peut tenir un modèle de 1 000 milliards de paramètres (Kimi K2 Thinking) en gelant les poids de base et en ne formant que de petits adapters dessus. La difficulté : le renforcement nécessite de déplacer des données entre les composants, or c’est précisément là que réside le coût de l’enclave.

Moins d’un mois après la publication de Silo, Workshop Labs a été racheté par Thinking Machines. Les composants nécessaires pour faire tourner dans l’enclave le même cycle RL de type Bridgewater sont désormais réunis sous une seule et même société.

Confidentialité de la couche Harness

Un autre problème traverse toutes ces mécaniques d’inférence privée. Chacune gère le chemin du prompt vers le modèle ; mais pour chaque appel d’outil externe déclenché par un agent, une route entière est ouverte, une route que la couche d’inférence n’atteint pas. La vague récente de “harness engineering” amplifie le problème : chaque outil, base de mémoire et source de données entourant le modèle devient une autre destination qui lit sa propre tranche de workflow en texte clair. Un serveur de calendrier lit les rendez-vous ; un serveur de base de données lit la requête. Même un agent entièrement local, s’il veut obtenir quoi que ce soit en dehors du jeu d’entraînement, doit toujours envoyer les termes de recherche en texte clair au moteur de recherche : si le serveur ne peut pas lire le texte en clair, il ne peut pas répondre.

La solution dominante présume encore un atterrissage au niveau des protocoles. Des sociétés comme Runlayer et MintMCP utilisent une passerelle centrale pour contrôler tout le flux d’outils ; avant que la requête ne sorte, elles masquent les informations d’identité personnelles (PII). La passerelle décide aussi quels serveurs reçoivent le trafic, et bloque les requêtes non examinées, tout en enregistrant à des fins de preuve la destination et le contenu de chaque appel. Même si ces contrôles affichent des audits indépendants (SOC 2), les serveurs d’outils doivent tout de même lire les requêtes en clair pour répondre. S’il conserve ou non des copies dépend des conditions de rétention du serveur, et il faut aussi multiplier par le nombre de chaque outil présent dans le harness. De plus, la passerelle elle-même est un autre point de lecture “fiable” ajouté au chemin, pas une validation.

Des solutions au niveau structurel attaquent la couche intermédiaire. Par exemple, Phala héberge directement un serveur MCP dans le TEE : le répertoire couvre wallet, exécution de code et sources de données. L’utilisateur peut vérifier la déclaration de confidentialité grâce à une attestation, au lieu de faire confiance à l’opérateur. Cependant, les outils hébergés dans le TEE doivent à la fin transmettre la requête en clair au fournisseur de services : l’enclave ne scelle que le messager, pas la destination.

Seules quelques destinations savent répondre sans lire, mais uniquement pour des requêtes structurées. Apple fournit une recherche d’informations privées pour iPhone, permettant de comparer les numéros d’appel avec une base anti-spam sans exposer le numéro ; Microsoft applique la même solution aux mots de passe dans le navigateur Edge. MongoDB et son Queryable Encryption permettent au client de chiffrer avant que le champ sorte : le serveur peut effectuer des correspondances d’égalité et de plage uniquement à partir du chiffré.

Mais pour la recherche ouverte, aujourd’hui, les meilleurs résultats s’arrêtent à la confiance. La recherche chiffrée vérifiable n’a pas encore dépassé le laboratoire. Brave promet une conservation nulle des données sur son index de 40 milliards de pages (pas l’index de Google), mais cela reste au niveau des protocoles. Exa construit un index neuronal, transforme les mots-clés de l’utilisateur en embeddings sémantiques, puis trie les résultats par similarité. Mais l’étape d’embedding est calculée “en clair” sur les serveurs d’Exa. Le papier Tiptoe de MIT en 2023 trie sur 360 millions de pages sans exposer les requêtes ; mais chaque recherche brûle énormément de puissance de calcul serveur. La qualité de classement diffère de la recherche non chiffrée. Le papier Wally d’Apple 2024 cache la requête réelle dans une pile de leurres, réduisant au maximum les coûts de communication d’un facteur 31 ; mais cette mathématique ne devient bon marché qu’à partir de millions de requêtes concurrentes, et à cette échelle, aucun système de recherche privée existant aujourd’hui ne dispose.

La recherche chiffrée est faisable, mais les performances et les prix ne sont pas encore au niveau de la viabilité commerciale.

Perspective

La demande pour une IA privée augmente. Venice AI a récemment franchi 3,5 millions d’utilisateurs enregistrés et un débit mensuel de 13 000 milliards de tokens. Puis il a bouclé une nouvelle levée de fonds en actions Series A avec une valorisation de 1 milliard de dollars. Proton est son concurrent direct : son produit de chat, Lumo, a dépassé 10 millions d’utilisateurs en un an. Côté infrastructure, Phala tourne actuellement sur OpenRouter entre 2 et 3 milliards de tokens par jour en moyenne. Duck.ai route gpt-oss-120b et Gemma vers l’enclave Tinfoil, offrant une confidentialité vérifiable pour des utilisateurs au-delà des proxies. Sans compter l’autohébergement : il est très probable que cela soit le plus grand canal d’inférence privée, car le modèle s’exécute sur son propre matériel, sans laisser aucune trace d’usage.

Cependant, dans la vague grand public de l’IA, l’IA privée ne représente qu’une fraction minuscule. Et cet écart ne se refermera que lorsque les laboratoires de pointe décideront intentionnellement de satisfaire ce besoin. En mai, les produits de Google ont traité 3 200 milliards de tokens. À ce rythme, le débit mensuel de Venice représente environ 18 minutes du volume de Google. En novembre dernier, Google a lancé Private AI Compute (PAC) : elle a mis certaines fonctionnalités pilotées par Gemini dans une enclave TPU scellée isolée de l’entreprise, tout en concevant un audit indépendant par NCC Group. Le problème : PAC ne couvre que quelques fonctionnalités Pixel, comme la recommandation personnalisée et les résumés d’enregistrements, et ne couvre pas les applications Gemini utilisées par des centaines de millions de personnes. Google ose confier la conception à des auditeurs parce que ces fonctionnalités monétisent via l’appareil et la publicité, pas via la vente de tokens.

Les solutions hébergées actuelles ne sont pas non plus parfaites. Pour les utilisateurs qui veulent la confidentialité maximale via E2EE, il faut attendre que de nouvelles fonctionnalités soient reconstruites là où les services ne peuvent pas les lire. Les harness privés dépendent toujours du protocole côté service. En apprentissage post-déploiement à prix raisonnable, obtenir les meilleurs résultats de fine-tuning nécessite encore de faire confiance à des fournisseurs tiers. L’autohébergement élimine tous les prestataires d’un coup, mais faire tourner localement les modèles open source les plus puissants peut coûter plus cher que d’avoir simplement la maison où tourne ce matériel.

Malgré ces défauts, l’IA privée est déjà une option réelle et abordable, et les lacunes restantes se comblent. Pour les consommateurs ordinaires, avec Lumo et Venice, les chats privés sur des modèles ouverts sans promesse de logs ne coûtent rien : un abonnement Venice ou Tinfoil à 18 à 20 dollars enferme les mêmes discussions en enclave, sans être plus cher qu’un abonnement ChatGPT. Pour les workflows d’entreprise, des endpoints avec attestation sont désormais même moins chers que la voie en clair. Des endpoints comme NEAR de l’API E2EE sont déjà capables d’embarquer un contexte chiffré dans l’enclave : la mémoire, l’upload de fichiers et les instructions personnalisées tournent aujourd’hui au-dessus de l’E2EE. Quant au post-training avec attestation, Vera Rubin NVL72 bientôt lancée par NVIDIA étendra le calcul confidentiel des nœuds 8 cartes de Blackwell à des racks de 72 cartes, rendant plus faisable les boucles RL de pointe sans exposer l’IP.

Mais la valeur clé à capturer se situe au-delà de ces compressions de prix. Là où la confidentialité existe déjà, elle est presque gratuite, mais elle n’est pas encore étendue aux workflows agentic grand public. Les opérateurs qui se concentrent sur la location d’enclaves tiennent un simple interrupteur sur des puces standard, pas une forteresse ; et la passerelle côté protocole concourt avec les middlewares traditionnels. La position défendable, elle, correspond à la moitié du problème encore non résolu dans ce rapport : les boucles d’entraînement enfermées dans l’enclave, les appels d’outils entièrement scellés de bout en bout, et les index de recherche où les termes ne sont pas visibles. Celui qui fera le premier de ces morceaux, vendra quelque chose qui ne pourra pas être transformé en produit marchand par des guerres de prix. Le capital qui poursuit l’IA privée devrait acheter la lacune, pas l’interrupteur.

Donc, confiance ou vérification ? Pour les tâches à exécution lourde et à agents lourds, on choisit la confiance : à chaque appel d’outil, le texte en clair est de toute façon envoyé à une destination que l’enclave ne peut pas sceller. Et les modèles de pointe valent leur prix dans ce genre de boucle. Pour la “réflexion” de haut niveau qui différencie une entreprise de son concurrent, on choisit la vérification. La stratégie, la planification et les jugements distillés de nombreuses années d’expertise constituent précisément l’alpha controversé. La voie à suivre consiste à affiner les modèles open source avec ces aperçus propriétaires à l’intérieur des frontières que l’entreprise contrôle. Dans les domaines où se trouve l’alpha d’une entreprise, des modèles ouverts calibrés par des experts ont déjà battu les modèles de pointe à la fois en précision et en coûts ; et l’infrastructure qui permet de les construire dans un environnement confidentiel arrive nœud par nœud.

Lien original

Cliquez pour en savoir plus sur le recrutement chez律动BlockBeats

Bienvenue à rejoindre la communauté officielle de律动 BlockBeats :

Telegram groupe de diffusion : https://t.me/theblockbeats

Telegram discussion : https://t.me/BlockBeats_App

Compte Twitter officiel : https://twitter.com/BlockBeatsAsia