IOSG: ¿Por qué los de Wall Street les están diciendo «no» a ChatGPT y a los de Claude?

Título original: «IOSG Weekly Brief｜El cruce de caminos de la IA: por qué Wall Street les está diciendo “no” a ChatGPT y Claude #336»
Fuente original: IOSG Ventures

Por qué se necesita IA privada

El 1 de julio, el CEO de Palantir, Alex Karp, aportó 20 minutos de entrevista en CNBC que algunos medios calificaron como un “colapso mental”. Según Karp, las empresas están pagando un sobreprecio en tokens a laboratorios punteros, al mismo tiempo que ven cómo su IP se filtra hacia los proveedores de modelos. Él llama a esa fuga una transferencia de alpha, y afirma que la transferencia ocurre a nivel de arquitectura: cada solicitud enviada a modelos de código cerrado llega en texto plano a los servidores del proveedor. Apenas unos días antes de que se emitiera el programa, Palantir anunció una colaboración con NVIDIA para ejecutar modelos abiertos Nemotron en un entorno controlado por el cliente, además de una declaración de soberanía de la IA de nueve puntos. Tras la emisión de CNBC, PLTR se disparó un 8%.

Durante los últimos veinte años, las empresas han adoptado software en la nube basándose en confianza a nivel de acuerdos, y ha funcionado. Cada proveedor SaaS solo ve fragmentos de los datos empresariales, y la mayoría tampoco tiene motivación para devolver esos datos al producto central. Salesforce ve canales de ventas, Workday ve RR. HH., Jira ve desarrollo e iteraciones, y AWS proporciona la base de almacenamiento y cómputo. Pero hoy, los flujos de trabajo de IA piden subir de una sola vez todo el “conjunto de bienes”, junto con el contexto estructurado que conecta a los distintos departamentos, con el objetivo de maximizar la productividad. Dejando a un lado la buena voluntad, los proveedores de arriba ahora pueden usar esos datos para nuevas funciones, en lugar de dejarlos en servidores “oxidándose”.

Nadie se está frenando. Los ingresos anuales estimados de Anthropic en mayo llegaron a 47 mil millones de dólares, muy por encima de los 9 mil millones de dólares a finales de 2025; OpenAI, por su parte, en febrero superó los 900 millones de usuarios activos semanales. Ambas compañías completaron una nueva ronda de financiación en primavera y sus valoraciones se acercan a 1 billón de dólares, con expectativa de realizar una IPO de mayor valor de mercado. Durante años, las acusaciones de privacidad y de IP no les hicieron perder ni un ápice de impulso.

Una parte de las empresas ya tomó medidas. En febrero de 2023, en menos de tres meses desde que se lanzó ChatGPT, los principales bancos de Wall Street ya restringieron su uso. En mayo de 2023, tras que un ingeniero de Samsung filtrara el código fuente de chips en ChatGPT, la empresa prohibió la IA generativa en toda la red. Como respuesta, en agosto de ese mismo año OpenAI lanzó ChatGPT Enterprise, prometiendo no usar datos comerciales para entrenar, además de un protocolo de retención cero de datos (zero-data-retention, ZDR), y ese protocolo se convirtió después en un requisito estándar para las compras empresariales.

Pero el contrato solo bloqueó las cuentas de la empresa. IBM descubrió que para 2025, la IA sombra (empleados que introducen datos de la empresa en herramientas de IA no aprobadas mediante cuentas personales) ya se había involucrado en 1/5 de los incidentes de fuga de datos, y el uso intensivo de IA sombra añadió en promedio 670 mil dólares adicionales al costo de las filtraciones. En una encuesta de 2025 realizada por la empresa de capacitación en seguridad Anagram, cuatro empleados dijeron que, para completar tareas más rápido, están dispuestos a violar las políticas de uso de IA.

Para las empresas, al menos se puede pagar para encontrar una salida: contratos ZDR, servicios que no entrenan, y si eres cliente del gobierno o de Palantir, despliegue con soberanía. Pero para usuarios normales como nosotros, si la privacidad en la IA importa o no todavía es un tema debatido, hasta que una citación del tribunal toca a la puerta.

Una orden judicial emitida en mayo de 2025 obligó a OpenAI a retener incluso conversaciones de nivel consumidor ya eliminadas por los usuarios. En noviembre, el juez ordenó además entregar 20 millones de registros al equipo legal del The New York Times para su divulgación como material probatorio. Luego vinieron casos penales: registros de ChatGPT del acusado en un caso de homicidio provocado por el incendio de Palisades entraron como evidencia; en un caso en Florida sobre doble homicidio, una declaración jurada citó preguntas del sospechoso sobre cómo manejar los cadáveres. Sam Altman también admitió en una entrevista de julio de 2025 que las conversaciones de ChatGPT no están protegidas por privilegio legal y que en el litigio a OpenAI “podrían exigirle” entregar los registros de chat de los usuarios.

El punto no es que solo los delincuentes necesiten conversaciones privadas. Las conversaciones entre personas y IA se archivan, pueden ser citadas, y eso es un área de vigilancia que la mayoría de los usuarios ni siquiera sabía que existía. En octubre de 2025, Kolmogorov Law encuestó a 1000 usuarios de IA en Estados Unidos y encontró que el 50% no sabía que esas conversaciones pueden ser citadas; además, dos tercios pensaron que esos chats deberían tener la misma protección que la consulta con un abogado o un médico.

Los modelos abiertos autocontenidos o que corren en entornos verificables están alcanzando rápido, pero los más potentes aún se quedan atrás de los modelos cerrados de vanguardia en capacidades generales, alrededor de 4 meses. Eso pone a empresas y particulares “tokenmaxxing” en un cruce de caminos: o abandonan la calidad del modelo durante meses por esa privacidad, o siguen enviando materiales sensibles a los servidores de Anthropic, porque el competidor es precisamente quien así se roba la ventaja de productividad.

En el mercado actual no hay una solución perfecta. Un informe enumera intentos para acortar la brecha desde distintos frentes y observa qué tan lejos está todavía la “inteligencia de vanguardia demostrablemente privada” de llegar a las empresas y a los usuarios comunes.

Cómo se implementa la privacidad hoy

La IA privada no es una sola ingeniería, pero cada mecanismo que existe en el mercado hoy aborda el mismo hecho: un prompt sale de tu dispositivo, atraviesa la red, llega a una máquina que ejecuta el modelo, y luego regresa con una respuesta. La diferencia entre mecanismos radica en dónde existe el texto plano en esa ruta, quién puede leerlo en ese punto y con qué se puede verificar la confidencialidad de la respuesta.

Privacidad a nivel de protocolo

En esta capa, además de ti, hay alguien que lee tu prompt en texto plano; lo que ocurra después depende solo de una promesa.

· Retención cero “tipo contrato” es la solución para empresas. El proveedor sabe quién eres, procesa tu prompt y promete no retener, y la ejecución se basa en contrato y reputación.

· Agente anónimo borra quién eres, pero no cifra lo que dices. El proveedor aguas abajo sigue tratando el texto plano según sus propias políticas. Las cláusulas varían: por ejemplo, Duck.ai (producto de chatbot de DuckDuckGo) habla con el fabricante del modelo para firmar protocolos de borrado, y Venice hace que el usuario asuma que el proveedor guardará todo; pero en ambos casos no hay forma de verificarlo.

Cada tramo entre máquinas usa TLS. Solo cifra el conducto y quien recibe puede leer toda la información. El reenvío normalmente usa Oblivious HTTP (RFC 9458) para separar ese nivel de “conocimiento”. La idea es parecida a pasarle una nota a un amigo: el amigo sabe a quién se la entregó, pero no puede leer el contenido; el destinatario puede leer el contenido, pero no sabe quién lo escribió. OHTTP se convirtió en estándar de IETF desde enero de 2024 y actualmente muchas compañías hacen correr tráfico en producción a través de reenviadores OHTTP alquilados desde Cloudflare y Fastly.

Este también es el máximo de privacidad al acceder a modelos de código cerrado, y se debe a un problema aritmético. Hoy el costo de entrenar una vez un modelo “estrella” está en el orden de mil millones de dólares, y las valoraciones de casi diez mil millones (en escala larga) de esos laboratorios están apostadas a la exclusividad de los pesos del modelo. La brecha de capacidades del modelo mantendrá el sobreprecio el tiempo que dure, así que los laboratorios guardan los archivos de pesos como secretos nacionales.

Meta ya hizo ese experimento de manera pasiva. En febrero de 2023, LLaMA se abrió inicialmente solo a investigadores, pero en menos de una semana los pesos se filtraron a 4chan en forma de semilla. Una semana después, llama.cpp permitió que el modelo más pequeño de 7B respondiera localmente en una MacBook. Tres días más tarde, Stanford afinó un asistente de chat llamado Alpaca con menos de 600 dólares en el mismo modelo. Esta filtración redujo el costo de ejecución de Llama al pago de la electricidad: cualquiera que obtenga los archivos puede ejecutarlo en casa. En julio de 2023, Meta abrió oficialmente Llama 2 con licencia comercial, con cláusulas de exclusión que contemplan 700 millones de usuarios activos mensuales. Los pesos corrieron, y el sobreprecio también.

En teoría, los laboratorios punteros pueden hacer attestation (prueba remota) para inferencia de modelos cerrados, pero la attestation solo prueba qué parte del código leyó el prompt; no puede probar qué hizo esa parte con el prompt. Para entender si el servidor conserva datos, necesitamos auditar el código de servicio (serving code) y reestructurarlo hacia el hash que reporta el hardware. Pero cuando se entrega el código de servicio, también se entrega el lote de técnicas de procesamiento y caché que sostienen los márgenes de ganancia, y esas técnicas se migran a cada generación futura de modelos. Apple y Meta pueden hacer pruebas remotas para el stack de servicios detrás del iPhone y WhatsApp porque sus ganancias provienen del dispositivo y de la publicidad, y exponer el código de servicio públicamente casi no cuesta.

Esa es la razón por la cual los pesos del modelo estrella y el código de servicio no llegan a manos de operadores externos. Y sin operadores externos, no hay attestation de terceros; sin attestation verificable, la privacidad solo existe sobre modelos abiertos.

Privacidad a nivel de estructura

En esta categoría, cada mecanismo reemplaza la confianza por pruebas basadas en hardware, criptografía o física; pero cada uno paga un costo distinto por mejorar la privacidad, y lo primero es que solo pueden ejecutarse con modelos abiertos.

· Computación confidencial con TEE (entorno de ejecución confiable) ejecuta inferencia dentro de un enclave de hardware (una cámara sellada en el chip que ni siquiera el operador de la máquina puede abrir). El chip firma una attestation indicando qué modelo y qué código se ejecutaron exactamente.

· El prompt queda sellado solo en el destino. En la ruta transita mediante un intermediario aún existe un rol capaz de leer texto plano; y lo que impide que el proxy registre o filtre el contenido del tramo intermedio, solo puede hacerlo el protocolo.

· E2EE (cifrado de extremo a extremo) cierra el relé que podría leerse. El dispositivo del usuario cifra el prompt con claves del enclave, y cada salto en medio lleva sobres sellados que solo el enclave puede abrir.

· La confianza cae en el cliente. El código responsable de cifrar el prompt y verificar la attestation también tiene la capacidad de revocar esa garantía. Por tanto, una E2EE verificable requiere tanto un enclave probado como un código cliente abierto y reproducible.

· Comparado con la simplicidad de TEE, el costo de E2EE es la carga de ingeniería, lo que también frena la integración de funciones. E2EE convierte al proxy en un mensajero ciego; así que todas las funciones que dependen de leer texto plano deben reconstruirse alrededor de las claves del cliente, o reconstruirse solo dentro del enclave.

· FHE (cifrado totalmente homomórfico, y variantes de MPC) elimina directamente a las partes confiables. El servidor computa sobre texto cifrado dentro de una caja cerrada que nunca puede abrir; la llave solo la tienes tú. MPC (cómputo seguro multiparte) divide el prompt en participaciones secretas para múltiples partes; a menos que todas las partes coludan, el efecto es equivalente.

· El costo es la velocidad. De forma nativa, FHE solo realiza sumas y multiplicaciones, así que los pasos no lineales necesarios para que funcione el transformer deben reconstruirse a un costo elevado. El costo de inferencia sobre texto cifrado es entre 10 mil y 100 mil veces el de texto plano. En modelos pequeños, cada token tarda de segundos a minutos, mientras que sin cifrado toma milisegundos.

· Se espera que chips diseñados para operaciones cifradas reduzcan la brecha, pero el primer prototipo recién completará un demo a inicios de 2026 y la versión comercial aún tardará algunos años.

· Inferencia local elimina directamente esa ruta. El modelo corre en tu propio hardware, sin relé, sin servidor, sin necesidad de verificación del proveedor.

· Es obvio que el costo y la capacidad del modelo son el precio. gpt-oss-120b puntúa en el índice de Artificial Analysis alrededor de la mitad de GLM-5.2, pero pesa 65GB y supera la suma de la memoria de dos tarjetas gráficas “estrella” del mercado. Y el GLM-5.2 de precisión completa solo puede ejecutarse en nodos de centro de datos con 8 tarjetas; solo en GPU se requieren más de 300 mil dólares.

Sin embargo, más allá de esas limitaciones estructurales, el costo de mover la inferencia dentro de un enclave está disminuyendo. En inferencia con una sola tarjeta, los benchmarks de Phala, un proveedor de servicios de enclave en la nube, muestran que la pérdida de rendimiento del enclave en promedio es de menos del 7% en H100; y en modelos grandes es casi cero, porque el principal costo es mover los datos al chip, más que computar dentro. En inferencia con múltiples tarjetas, la nueva generación de GPU Blackwell de NVIDIA admite cifrado directo del tráfico entre chips, mientras que para que un H100 antiguo logre el mismo efecto habría que rodear con CPU con solo 1/7 del ancho de banda. Los benchmarks internos de NVIDIA en Blackwell indican que el modelo de 397B tiene una pérdida de rendimiento en modo enclave de menos del 8%. Con estos avances, la penalización de rendimiento de la inferencia privada ya no es una restricción decisiva.

De hecho, el enclave en sí casi no añade costo operativo adicional al operador. Desde 2023, cada H100 incluye modo enclave; el costo extra es la pérdida de throughput causada por el cifrado, no chips adicionales. En Azure, el precio de alquiler de los SKU de H100 “confidencial” sigue siendo de 8,90 dólares por hora; si no habilitas enclave es de 6,98 dólares, equivalente a un recargo del 27% sobre infraestructura tradicional. En cambio, en operadores especializados como Phala, el modo confidencial H100 se alquila desde 3,80 dólares por hora, por debajo del rango de precio de 3,99 a 4,29 dólares por una tarjeta Lambda SXM normal. En soluciones de API con hosting, NEAR AI ofrece endpoints con attestation a 0,15 dólares por 1 millón de tokens de entrada y 0,55 dólares por salida para gpt-oss-120b, igualando a Amazon Bedrock, Together y Groq con rutas en texto plano. Incluso para modelos que requieren paralelismo de varios chips, NEAR AI cobra en GLM 5.2 igual que Fireworks en un centavo, y en Kimi K2.6 cuesta 15% menos para entrada y 4% menos para salida.

Aunque estos nuevos proveedores de servicios de inferencia privada tal vez estén quemando ganancias para ganar participación (una frase que aplica a cualquier empresa que quiera crecer en el mercado), la tendencia estructural es que el costo de la privacidad baja tanto para consumidores como para operadores.

¿Cómo gana el modelo abierto?

Aunque el costo de rendimiento se comprime, todavía existe una brecha visible a simple vista entre modelos punteros y modelos abiertos SOTA. Si un actor busca maximizar la productividad, para quedarse en la primera fila debe confiar en que los laboratorios punteros no robarán su IP.

La brecha sigue existiendo, pero Bridgewater, a través de AIA Labs y Thinking Machines, dio un caso el 30 de junio: un modelo abierto afinado con etiquetas de expertos, que supera a los modelos punteros tanto en precisión como en costo.

En el estudio, el equipo afinó Qwen3-235B en Tinker (servicio de API de fine-tuning gestionado de Thinking Machines). Primero compraron etiquetas de la parte proveedora, entrenaron una primera ronda con esos datos, y luego pasaron los ejemplos con desacuerdo a los inversores de la compañía para volver a etiquetar. El entrenamiento corre con aprendizaje por refuerzo (GRPO), además de tres modificaciones: round-robin batching (cada tarea alterna un lote), CISPO loss (limita el “recorrido máximo” que una respuesta individual puede empujar al modelo) y on-policy distillation (ancla en el checkpoint óptimo actual para asegurar que el modelo no aprenda de copias más débiles).

Las tareas provienen por completo de los flujos de trabajo diarios de los inversores: si una noticia es importante para profesionales de inversiones a nivel C-suite, si un documento del banco central sugiere la dirección de futuros cambios de tasas de interés, y desde dónde empiezan los clichés de una plantilla en un documento o un correo. Las puntuaciones salen de un conjunto de prueba independiente: el modelo puntero logra un puntaje promedio de alrededor del 50% con prompts simples, y con prompts de expertos solo llega a 78,2%, por debajo del umbral del 80% fijado por los inversores. El Qwen afinado obtiene 84,7%; según el criterio del texto original, eso equivale a cometer un 29,8% menos de errores que el óptimo puntero, con un costo de inferencia 13,8 veces menor.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Este caso demuestra que el modelo abierto puede ganar en precisión y costo, pero el proceso de entrenamiento todavía no es privado. Las etiquetas de expertos usadas en el proceso son datos privados de Bridgewater; pasan por el servicio de terceros de Tinker y caen en el mismo nivel de confianza que el protocolo ZDR. El fondo también alquiló cómputo: todo el entrenamiento corrió en máquinas que nunca controlaron. Si hay compradores que quieren esta “receta” y no quieren cargar con supuestos de confianza, hoy las opciones son pocas. Alquilar un clúster de GPU “desnuda” hace que el proceso sea legible por el operador de la nube. Comprar el clúster resuelve el problema de custodia de datos, pero el costo se dispara.

La ruta con attestation acaba de llegar. En marzo, Workshop Labs y Tinfoil publicaron Silo: un stack de post-entrenamiento que corre en el enclave de Tinfoil, sobre un nodo de 8 tarjetas, con llaves controladas solo por el cliente. El artículo da un costo de enclave: entrenar durante dos horas añade 11 minutos. Además, esta pila puede alojar un modelo de un trillón de parámetros (Kimi K2 Thinking) al congelar el modelo base y entrenar solo pequeños adaptadores sobre él. La dificultad está en que el aprendizaje por refuerzo necesita mover datos de ida y vuelta entre componentes, y “mover datos” precisamente es donde está el costo del enclave.

Menos de un mes después de publicar Silo, Workshop Labs fue adquirido por Thinking Machines. Los componentes necesarios para correr el siguiente ciclo RL tipo Bridgewater dentro del enclave ahora pertenecen a la misma compañía.

Privacidad en la capa de harness

Hay otro problema que atraviesa todas las mecánicas de inferencia privada. Estas mecánicas manejan cada una la ruta de prompt al modelo; pero cada vez que un agente inicia una llamada a herramientas externas, abre una ruta que la capa de inferencia ni siquiera toca. La reciente tendencia de “harness engineering” amplifica el problema: cada herramienta, base de memoria y fuente de datos conectados alrededor del modelo es otro destino que lee en texto plano su propio fragmento de flujo de trabajo. El servidor del calendario lee los horarios; el servidor de bases de datos lee la consulta. Un agente totalmente local, si solo necesita cualquier cosa fuera del conjunto de entrenamiento, aún necesita enviar términos de búsqueda en texto plano al motor de búsqueda: si el servidor no puede leer texto plano, no puede responder.

La solución dominante todavía asume caer en la capa de protocolo. Compañías como Runlayer y MintMCP controlan el tráfico de todas las herramientas con una pasarela central que, antes de que una solicitud salga, oculta la identidad personal (PII). La pasarela también decide qué servidores pueden recibir el tráfico, bloquea lo no revisado fuera de la puerta y registra el destino y el contenido de cada llamada para propósitos probatorios. Aunque estas medidas de control lleven auditorías separadas (SOC 2), los servidores de herramientas aún deben leer consultas en texto plano para responder. Si mantienen copias o no depende de sus cláusulas de retención, además de tener en cuenta cada herramienta en el harness. Y la pasarela misma también es un lector adicional de confianza en la ruta, no una verificación.

Las soluciones a nivel estructural atacan esa capa intermedia. Por ejemplo, Phala despliega el servidor MCP directamente dentro de un TEE, cubriendo cartera, ejecución de código y fuentes de datos. Los usuarios pueden verificar la declaración de privacidad con una attestation, en lugar de confiar en el operador. Sin embargo, las herramientas alojadas en TEE aún tienen que entregar consultas en texto plano al proveedor de servicios; el enclave solo sella el mensajero, no el destino.

Solo unos pocos destinos aprenden a responder sin leer, pero eso se limita a consultas estructuradas. Apple ofrece búsqueda privada de información para iPhone: cuando se comparan números de llamadas con la base de datos de spam, no hace falta exponer el número. Microsoft usa el mismo esquema para contraseñas en Edge. MongoDB con Queryable Encryption permite que el cliente cifre antes de salir el campo: el servidor puede completar emparejamientos de igualdad y de rango solo con el texto cifrado.

Pero para búsqueda abierta, hoy las mejores respuestas se detienen en la confianza: la búsqueda cifrada verificable aún no ha salido del laboratorio. Brave promete cero retención de datos sobre su índice de 40 mil millones de páginas (no el de Google), pero eso sigue apoyándose en el protocolo. Exa construyó un índice neuronal: incrusta las palabras clave del usuario como semántica y ordena resultados por coincidencia semántica, pero el paso de incrustación todavía se calcula en los servidores de Exa a partir de texto plano. El paper Tiptoe de MIT en 2023 ordenó sobre 360 millones de páginas sin exponer las consultas, pero cada búsqueda requiere consumir gran cantidad de cómputo de servidor y la calidad del ordenamiento difiere de la búsqueda no cifrada. El paper Wally de Apple en 2024 oculta la consulta real dentro de un montón de señuelos para reducir el costo de comunicación hasta 31 veces; pero ese esquema solo se vuelve barato con millones de consultas concurrentes, y a esa escala hoy ningún sistema de búsqueda privada posee.

La búsqueda cifrada se puede hacer, solo que el rendimiento y el precio aún no la hacen viable para uso comercial.

Perspectiva

La demanda de IA privada está creciendo. Venice AI recientemente superó 3,5 millones de usuarios registrados y un rendimiento mensual de 13 billones de tokens; después completó una nueva ronda de financiación de equity Series A por valor de 1 mil millones de dólares. Proton es su competidor directo: su producto de chat, Lumo, en un año superó los 10 millones de usuarios. En infraestructura, Phala actualmente ya corre entre 2 mil millones y 3 mil millones de tokens por día promedio en OpenRouter. Duck.ai enruta gpt-oss-120b y Gemma hacia el enclave de Tinfoil, ofreciendo privacidad verificable para usuarios más allá del simple agente. Y aún no cuenta el auto-hosting: probablemente sea el mayor canal de inferencia privada, porque el modelo corre en el propio hardware y no deja ningún rastro de uso.

Sin embargo, en la gran ola del mainstream de IA, la IA privada ocupa solo una fracción mínima, y esa brecha solo se cierra cuando los laboratorios punteros deciden satisfacer esa necesidad. En mayo, Google procesó 3200 billones de tokens en toda su gama de productos; con ese ritmo, el throughput mensual de Venice equivale a alrededor de 18 minutos de Google. En noviembre pasado, Google lanzó Private AI Compute (PAC), moviendo algunas funciones impulsadas por Gemini a enclaves TPU sellados que se encuentran aislados del negocio de la propia empresa y diseñando auditorías independientes por parte de NCC Group. El problema es que PAC solo cubre unas pocas funciones de Pixel como recomendación personalizada y resúmenes de grabaciones, y no cubre las aplicaciones de Gemini utilizadas por cientos de millones de personas. Google se atreve a someter ese diseño a auditoría porque esas funciones monetizan mediante dispositivos y publicidad, no por la venta de tokens.

Las soluciones de hosting actuales tampoco son perfectas. Los usuarios que buscan máxima privacidad por E2EE deben esperar a que las nuevas funciones se reconstruyan donde el proveedor de servicios no pueda leerlas. La post-entrenamiento con precio razonable: para obtener el mejor resultado de fine-tuning todavía necesitas confiar en proveedores de terceros. El auto-hosting tira de una vez todas las soluciones de proveedores; pero ejecutar el mejor modelo abierto localmente puede costar más que conectarlo a la casa donde vive el sistema.

Con todo, las fallas existen, pero la IA privada ya es una opción real y asequible, y la brecha restante se está cerrando. Para consumidores comunes, con compromisos de no retención en Lumo y Venice, la privacidad de chats con modelos abiertos cuesta cero; la suscripción de 18 a 20 dólares en Venice o Tinfoil encierra los mismos chats en un enclave y no es más cara que suscribirse a ChatGPT. Para flujos empresariales, los endpoints con attestation hoy incluso son más baratos que las rutas en texto plano. Endpoints como el E2EE API de NEAR ya pueden llevar contexto cifrado dentro de un enclave: memoria, carga de archivos e instrucciones personalizadas funcionan hoy encima de E2EE. En cuanto al post-entrenamiento con attestation, NVIDIA lanzará Vera Rubin NVL72, que expandirá la computación confidencial desde nodos de 8 tarjetas en Blackwell hasta racks de 72 tarjetas, haciendo que los ciclos RL punteros sean más viables sin exponer IP.

Sin embargo, la captura del valor clave cae fuera de esos niveles de compresión de precios. La privacidad donde ya existe es casi gratis, pero aún no cubre los flujos mainstream con agentes. Los operadores que se enfocan en rentar enclaves controlan un interruptor en chips estándar, no un foso defensivo; mientras la pasarela en la capa de protocolo compite con los middlewares tradicionales. La posición defendible que aún no se resuelve en este informe es la otra mitad: los ciclos de entrenamiento encerrados en enclave, las llamadas a herramientas cerradas de extremo a extremo, y los índices de búsqueda cuyas entradas no se ven. Quien logre primero cualquiera de esas cosas venderá algo que ninguna guerra de precios podrá convertir en mercancía. El capital que persigue la IA privada debería comprar la brecha, no ese interruptor.

Entonces, ¿confianza o verificación? Para tareas de re-ejecución y re-agente, elige confianza: porque cada llamada a herramientas ya entrega texto plano al destino que el enclave no puede sellar. Y los modelos punteros valen su precio en este tipo de ciclos. Para el pensamiento de alto nivel que distingue una empresa de su rival, elige verificación: la estrategia, la planificación y los juicios destilados a partir de años de experiencia profesional son precisamente ese alpha en la controversia. El camino hacia adelante es ajustar modelos abiertos usando esas percepciones propietarias dentro de los límites controlados por la empresa. En el ámbito donde reside el alpha de una empresa, los modelos abiertos afinados por expertos ya superan en precisión y costo al óptimo puntero; y construir la infraestructura para hacerlo en un entorno de privacidad llega nodo por nodo.

Enlace del original

Haz clic para conocer las vacantes en Lvdy BlockBeats

Bienvenido a unirte a la comunidad oficial de Lvdy BlockBeats:

Telegram grupo de suscripción: https://t.me/theblockbeats

Telegram grupo de chat: https://t.me/BlockBeats_App

Cuenta oficial en Twitter: https://twitter.com/BlockBeatsAsia