Las 30,000 millones de fotos de Pokémon Go están enseñando a los robots de reparto a orientarse

Desde atrapar a Pikachu hasta entregar pizzas, esta puede ser una de las rutas de comercialización de datos crowdsourcing más inesperadas.

Autor: Will Douglas Heaven

Traducido por: Deep潮 TechFlow

Deep潮 Introducción: Niantic convirtió las 30 mil millones de fotos urbanas tomadas por jugadores de Pokémon Go en un nuevo negocio. Su subsidiaria de IA, Niantic Spatial, utilizó estos datos para entrenar un sistema de localización visual que alcanza una precisión de centímetros, superando ampliamente el rendimiento del GPS en cañones urbanos. Su primer gran cliente es la empresa de robots de entrega Coco Robotics. Desde atrapar a Pikachu hasta entregar pizzas, esta puede ser una de las rutas de comercialización de datos crowdsourcing más inesperadas.

Texto completo:

Pokémon Go es el primer juego de realidad aumentada (AR) de impacto mundial. Lanzado en 2016 por Niantic, una subsidiaria de Google, este juego basado en la IP de Pokémon y con realidad aumentada rápidamente conquistó el mundo. Desde Chicago hasta Oslo y Enoshima, los jugadores salieron a las calles con la esperanza de atrapar a un Pikachu, un Squirtle o, con suerte, un Zapdos de Galar — flotando en el mundo real, casi alcanzable.

En pocas palabras, esto significa que millones de personas toman fotos de innumerables edificios con sus teléfonos. “Cincocientos millones de personas instalaron esta app en 60 días”, dice Brian McClendon, CTO de Niantic Spatial. Niantic Spatial es la empresa de IA que se separó de Niantic en mayo del año pasado. Según datos de Scopely, que adquirió Pokémon Go de Niantic en ese mismo período, el juego aún tiene más de 100 millones de jugadores activos en 2024, ocho años después de su lanzamiento.

Ahora, Niantic Spatial está aprovechando esta incomparable reserva de datos crowdsourcing — millones de fotos de puntos de referencia urbanos tomadas por jugadores de Pokémon Go en todo el mundo, con marcas de ubicación extremadamente precisas — para construir un modelo del mundo (World Model). Esta es una tendencia tecnológica actual, cuyo objetivo es anclar la inteligencia de los modelos de lenguaje grande (LLM) en entornos del mundo real.

Su producto más reciente es un modelo que, con solo unas pocas fotos de un edificio u otro punto de referencia, puede determinar tu ubicación en el mapa con precisión de centímetros. Quieren usarlo para ayudar a robots a navegar con mayor precisión en lugares donde el GPS no es confiable.

Como primera validación a gran escala de esta tecnología, Niantic Spatial acaba de colaborar con Coco Robotics. Coco es una startup que despliega robots de entrega de última milla en varias ciudades de EE. UU. y Europa. “Todos piensan que el AR es el futuro, que las gafas de AR están por llegar”, dice McClendon, “pero los robots fueron los primeros en llegar a los usuarios.”

De Pikachu a entregar pizzas

Coco Robotics ha desplegado unos 1000 robots del tamaño de maletines en Los Ángeles, Chicago, Jersey City, Miami y Helsinki, capaces de transportar hasta 8 pizzas grandes o 4 bolsas de compras. Según su CEO, Zach Rash, estos robots han realizado más de 500,000 entregas hasta ahora, recorriendo millones de millas en diversas condiciones climáticas.

Pero para competir con humanos, los robots de Coco — que circulan por las aceras a aproximadamente 5 millas por hora — deben ser lo suficientemente confiables. “Nuestra mejor estrategia es llegar a tiempo, en el momento justo”, dice Rash. Esto significa que no pueden perderse.

El problema de Coco es que no puede depender del GPS. En las ciudades, las señales de radio rebotan entre edificios y se interferencian, haciendo que la señal de GPS sea débil. “Hacemos entregas en áreas densas con rascacielos, pasajes subterráneos y puentes elevados, donde el GPS casi nunca funciona”, explica Rash.

“Los cañones urbanos son donde el GPS funciona peor en todo el mundo”, dice McClendon. “La mancha azul en tu teléfono, que indica tu ubicación, a menudo se desplaza 50 metros, colocándote en otra calle, en otra dirección, al otro lado de la vía”. Esto es lo que Niantic Spatial busca resolver.

En los últimos años, Niantic Spatial ha estado procesando los datos generados por jugadores de Pokémon Go e Ingress (su anterior juego de AR lanzado en 2013) para construir un sistema de localización visual (Visual Positioning System) — que determina dónde estás a partir de lo que ves. “Hacer que Pikachu corra por la calle en realidad, y que los robots de Coco naveguen de forma segura y precisa por la ciudad, es esencialmente el mismo problema”, dice John Hanke, CEO de Niantic Spatial.

“La localización visual no es una tecnología nueva”, dice Konrad Wenzel, de la empresa de mapas digitales y análisis geoespacial ESRI. “Pero está claro que cuanto más cámaras haya afuera, mejor funcionará.”

Niantic Spatial entrenó su modelo con 30 mil millones de fotos tomadas en entornos urbanos. Estas imágenes están especialmente concentradas en “puntos calientes” — lugares importantes en los que los jugadores de Niantic suelen acudir, como gimnasios de combate Pokémon. “Tenemos más de un millón de lugares en todo el mundo donde podemos determinar tu ubicación con precisión de centímetros”, dice McClendon. “Sabemos dónde estás y en qué dirección miras.”

El resultado es que, para cada uno de estos 1 millón de lugares, Niantic Spatial tiene miles de fotos tomadas desde aproximadamente la misma posición, pero con diferentes ángulos, en distintos momentos y condiciones climáticas. Cada foto lleva metadatos detallados: la posición exacta del teléfono en ese momento, su orientación, postura, si está en movimiento, velocidad y dirección, etc.

La compañía entrena su modelo con estos datos para que, mediante “lo que ve”, pueda determinar con precisión su ubicación — incluso en áreas fuera de estos puntos calientes, donde las imágenes y los datos de ubicación son escasos.

Además del GPS, los robots de Coco (que tienen 4 cámaras) ahora usan este modelo para saber dónde están y a dónde deben ir. Las cámaras están colocadas a la altura de las caderas, mirando en todas las direcciones. Aunque el campo de visión y la orientación difieren un poco de los jugadores de Pokémon Go, Rash dice que adaptar los datos no es complicado.

Sus competidores también usan sistemas de localización visual. Por ejemplo, Starship Technologies, fundada en Estonia en 2014, afirma que sus robots construyen mapas 3D del entorno usando sensores, marcando bordes de edificios y farolas.

Pero Rash apuesta a que la tecnología de Niantic Spatial dará a Coco una ventaja. Cree que permitirá que los robots se detengan con precisión en la ubicación correcta frente a los restaurantes, sin bloquear el paso de las personas, y que puedan detenerse en la puerta del cliente en lugar de unos pasos más lejos — algo que ha sido un problema en el pasado.

El auge de los robots

Cuando Niantic Spatial empezó a desarrollar su sistema de localización visual, su objetivo era aplicarlo en AR, dice Hanke. “Si usas gafas de AR y quieres que el mundo virtual se fije en la dirección en que miras, necesitas algún método para lograrlo. Pero ahora estamos presenciando un gran auge en el campo de los robots.”

Algunos robots deben compartir espacio con humanos, como en obras de construcción y aceras. “Para que los robots puedan integrarse en estos entornos sin molestar a las personas, deben tener una comprensión espacial similar a la humana”, dice Hanke. “Cuando los robots son empujados o golpeados, podemos ayudarlos a recuperar su posición exacta.”

La colaboración con Coco Robotics es solo el comienzo. Hanke afirma que Niantic Spatial está construyendo lo que llama un “Mapa Vivo” (Living Map): una simulación de alta precisión del mundo virtual, que evoluciona con los cambios en el mundo real. A medida que los robots de Coco y otras empresas circulan por diferentes lugares, aportan nuevos datos cartográficos, haciendo que las réplicas digitales del mundo sean cada vez más detalladas.

Para Hanke y McClendon, los mapas no solo se están volviendo más precisos, sino que también se usan cada vez más por máquinas. Esto cambia el propósito de los mapas. Durante mucho tiempo, los mapas ayudaron a los humanos a ubicarse. De 2D a 3D y ahora a 4D (como en las réplicas digitales en tiempo real), el principio básico sigue siendo el mismo: cada punto en el mapa corresponde a un punto en el espacio o en el tiempo.

Pero los mapas orientados a las máquinas podrían necesitar parecerse más a guías, llenas de información que los humanos consideran obvia. Niantic Spatial y empresas como ESRI quieren agregar descripciones a los mapas, para que las máquinas puedan entender qué están viendo, con atributos para cada objeto. “La tarea de esta era es construir descripciones útiles del mundo para las máquinas”, dice Hanke. “Los datos que tenemos son un excelente punto de partida para entender cómo funciona la organización de las conexiones en el mundo.”

El modelo del mundo está en auge, y Niantic Spatial lo sabe. Los LLM parecen entenderlo todo, pero en la interpretación y en la interacción con entornos cotidianos, carecen de sentido común. El modelo del mundo busca resolver ese problema. Algunas empresas, como Google DeepMind y World Labs, están desarrollando modelos que generan mundos virtuales instantáneamente, para usarlos como campos de entrenamiento para agentes de IA.

Niantic Spatial afirma que aborda este problema desde diferentes ángulos. Al hacer mapas lo suficientemente detallados, eventualmente capturarán todo, dice McClendon: “Aún no hemos llegado allí, pero estamos en camino. Mi enfoque ahora está en intentar reconstruir el mundo real.”