As 300 bilhões de fotos do Pokémon Go estão a ensinar os robots de entrega a reconhecer o caminho

Desde capturar Pikachu até entregar pizzas, esta pode ser uma das rotas de comercialização de dados mais surpreendentes no crowdsourcing.

Autor: Will Douglas Heaven

Tradução: Deep潮 TechFlow

Deep潮 Introdução: Niantic transformou as 30 bilhões de fotos urbanas tiradas pelos jogadores de Pokémon Go numa nova oportunidade de negócio. Sua subsidiária de IA, Niantic Spatial, treinou um sistema de localização visual usando esses dados, alcançando uma precisão de centímetros, muito superior ao GPS em ambientes urbanos. O primeiro grande cliente é a empresa de robôs de entrega Coco Robotics. Desde capturar Pikachu até entregar pizzas, esta pode ser uma das rotas de comercialização de dados mais surpreendentes no crowdsourcing.

Texto completo:

Pokémon Go é o primeiro jogo de AR de fenômeno mundial. Lançado em 2016 pela subsidiária do Google, Niantic, esse jogo baseado na IP Pokémon com realidade aumentada conquistou rapidamente o mundo. De Chicago a Oslo, de Enoshima a várias cidades, jogadores saíram às ruas na esperança de capturar um Jigglypuff, um Squirtle ou, com sorte, um Zapdos de Galar — flutuando sobre o mundo real, quase ao alcance.

Simplificando, isso significa que milhões de pessoas com seus celulares tiraram fotos de inúmeras construções. “500 milhões de pessoas instalaram este app em 60 dias”, disse Brian McClendon, CTO da Niantic Spatial. A Niantic Spatial é a empresa de IA que foi desmembrada da Niantic em maio do ano passado. Segundo dados da Scopely (que adquiriu Pokémon Go da Niantic na mesma época), o jogo ainda tem mais de 100 milhões de jogadores ativos em 2024, oito anos após seu lançamento.

Agora, a Niantic Spatial está aproveitando esse imenso banco de dados crowdsourcing — fotos de marcos urbanos tiradas por centenas de milhões de jogadores de Pokémon Go, com marcações de localização extremamente precisas — para construir um modelo do mundo (World Model). Essa é uma das tendências tecnológicas atuais, com o objetivo de ancorar a inteligência de grandes modelos de linguagem (LLMs) no ambiente real.

O produto mais recente da empresa é um modelo que, com poucas fotos de um edifício ou outro marco, consegue determinar sua localização com precisão de centímetros. Eles querem usá-lo para ajudar robôs a navegar com maior precisão em áreas onde o GPS é fraco.

Como validação inicial dessa tecnologia, a Niantic Spatial acaba de firmar uma parceria com a Coco Robotics. A Coco é uma startup que implanta robôs de entrega de última milha em várias cidades dos EUA e Europa. “Todo mundo acha que AR é o futuro, que óculos de AR estão chegando”, disse McClendon, “mas quem virou o jogo foram os robôs.”

De Pikachu a entregar pizzas

A Coco Robotics implantou cerca de 1000 robôs do tamanho de uma mala de viagem em Los Angeles, Chicago, Jersey City, Miami e Helsinque, capazes de transportar até oito pizzas gigantes ou quatro sacos de compras. Segundo o CEO Zach Rash, esses robôs já fizeram mais de 500 mil entregas, percorrendo milhões de milhas em diferentes condições climáticas.

Para competir com entregadores humanos, os robôs da Coco (que andam a cerca de 8 km/h na calçada) precisam ser confiáveis. “Nosso melhor método é chegar no horário marcado”, disse Rash. Isso significa que eles não podem se perder.

O problema da Coco é que não podem depender do GPS. Em áreas urbanas, sinais de rádio refletem-se entre os edifícios, interferindo uns com os outros, e o sinal de GPS fica fraco. “Fazemos entregas em regiões densas com arranha-céus, túneis subterrâneos e pontes elevadas, onde o GPS praticamente não funciona”, explicou Rash.

“Canyons urbanos são os piores lugares para o GPS no mundo”, disse McClendon. “Você vê o ponto azul no celular, que muitas vezes oscila 50 metros, e acaba sendo colocado em outro quarteirão, em outra direção, do outro lado da rua.” É esse o problema que a Niantic Spatial quer resolver.

Nos últimos anos, a Niantic Spatial vem organizando os dados gerados por jogadores de Pokémon Go e Ingress (outro jogo de AR lançado em 2013 pela Niantic) para criar um sistema de localização visual — usando o que você vê para determinar onde está. “Fazer o Pikachu correr na rua de verdade e fazer o robô da Coco atravessar a cidade com segurança e precisão são, na essência, o mesmo problema”, afirma John Hanke, CEO da Niantic Spatial.

“Localização visual não é uma tecnologia nova”, diz Konrad Wenzel, da ESRI, empresa de mapas digitais e análise geoespacial. “Mas fica claro que quanto mais câmeras houver lá fora, melhor ela funciona.”

A Niantic Spatial treinou seu sistema com 30 bilhões de fotos de ambientes urbanos. Essas imagens estão especialmente concentradas em “pontos quentes” — locais importantes no jogo, como ginásios de batalha Pokémon. “Temos mais de um milhão de locais no mundo onde podemos determinar sua posição com precisão de centímetros”, disse McClendon. “Sabemos exatamente onde você está e para qual direção está olhando.”

Cada um desses locais possui milhares de fotos tiradas de ângulos diferentes, em horários diferentes, sob condições climáticas distintas, todas com metadados detalhados: a posição exata do celular no espaço, sua orientação, postura, se está em movimento, velocidade e direção, entre outros.

A empresa treina seu modelo com esse conjunto de dados, para que ele possa usar “o que vê” para determinar sua localização com alta precisão — mesmo em áreas fora desses pontos quentes, onde imagens e dados de localização são escassos.

Além do GPS, os robôs da Coco (que possuem quatro câmeras) usam esse sistema para saber onde estão e para onde vão. As câmeras estão na altura do quadril, voltadas para todos os lados, com um campo de visão diferente do jogador de Pokémon Go, mas Rash afirma que adaptar os dados não é complicado.

Outros concorrentes também usam sistemas de localização visual. Como a Starship Technologies, fundada em 2014 na Estônia, que afirma que seus robôs usam sensores para criar mapas 3D do ambiente, marcando bordas de edifícios e postes de luz.

Mas Rash aposta que a tecnologia da Niantic Spatial dará vantagem à Coco. Ele acredita que isso permitirá que os robôs parem exatamente na posição correta na frente do restaurante, sem bloquear a passagem de ninguém, e estacionem na porta do cliente, ao invés de alguns metros de distância — algo que já aconteceu várias vezes.

A explosão dos robôs

Quando começou a desenvolver seu sistema de localização visual, a ideia da Niantic Spatial era usá-lo em AR, explica Hanke. “Se você usa óculos de AR, quer que o mundo virtual esteja alinhado com a sua visão, e para isso precisa de um método para fazer isso acontecer. Mas agora estamos testemunhando uma grande revolução na robótica.”

Alguns robôs precisam compartilhar espaço com humanos, como em canteiros de obras ou calçadas. “Se os robôs querem se integrar a esses ambientes sem incomodar as pessoas, precisam entender o espaço ao seu redor de forma semelhante aos humanos”, disse Hanke. “Quando eles são empurrados ou colidem, podemos ajudá-los a recuperar sua posição exata.”

A parceria com a Coco Robotics é apenas o começo. Hanke afirma que a Niantic Spatial está construindo o que chama de “Mapa Vivo” (Living Map), uma simulação de mundo virtual de alta precisão que evolui junto com o mundo real. À medida que os robôs da Coco e de outras empresas percorrem o planeta, eles fornecem novas fontes de dados de mapas, tornando as réplicas digitais cada vez mais detalhadas.

Para Hanke e McClendon, os mapas não só estão ficando mais detalhados, mas também mais utilizados por máquinas. Isso muda o propósito dos mapas. Por muito tempo, eles ajudaram os humanos a se localizar. De 2D a 3D, e agora para 4D (como digital twins em tempo real), o princípio básico permanece: pontos no mapa correspondem a pontos no espaço ou no tempo.

Porém, mapas voltados para máquinas podem precisar parecer mais com guias turísticos, repletos de informações que os humanos consideram óbvias. Empresas como a Niantic Spatial e a ESRI querem acrescentar descrições aos mapas, informando às máquinas o que estão vendo, com atributos para cada objeto. “A missão desta era é construir descrições úteis do mundo para as máquinas”, afirma Hanke. “Os dados que temos são um excelente ponto de partida para entender como as conexões do mundo funcionam.”

Hoje, o modelo do mundo está em alta, e a Niantic Spatial sabe disso. Os LLMs parecem entender tudo, mas quase não têm senso comum ao interpretar e interagir com ambientes cotidianos. O mundo modelado é a solução para esse problema. Algumas empresas, como Google DeepMind e World Labs, estão desenvolvendo modelos capazes de gerar mundos virtuais instantaneamente, usados como campo de treinamento para agentes de IA.

A Niantic Spatial afirma que aborda essa questão de diferentes ângulos. Quanto mais detalhado for o mapa, mais tudo será capturado, diz McClendon: “Ainda não chegamos lá, mas estamos pensando em chegar. Meu foco agora é tentar reconstruir o mundo real.”