Recentemente vi uma entrevista do fundador da DeepMind, Hassabis, na YC, e alguns pontos foram bastante impactantes. Ele disse que se você iniciar um projeto de tecnologia avançada com duração de dez anos, deve incluir no planejamento a emergência da AGI no meio do caminho. Isso não é alarmismo, sua linha do tempo pessoal é por volta de 2030.

Ao ouvir os detalhes técnicos, fica claro por que a AGI ainda falta uma ou duas peças do quebra-cabeça. Pré-treinamento em larga escala, RLHF, cadeias de pensamento — essas tecnologias já foram validadas, ele tem certeza de que farão parte da arquitetura final da AGI. Mas aprendizado contínuo, raciocínio de longo prazo, alguns aspectos da memória ainda não estão realmente resolvidos. A abordagem atual basicamente é encher a janela de contexto com tudo, o que é bastante bruto. Ele exemplifica que uma janela de contexto de um milhão de tokens parece grande, mas se for lidar com streaming de vídeo em tempo real, na verdade só dá para 20 minutos de dados. Para fazer o sistema entender sua vida de um ou dois meses, isso é longe de ser suficiente.

A questão do raciocínio é ainda mais interessante. Ele costuma usar o jogo de xadrez Gemini para observar, e percebe que às vezes ele percebe que um movimento é ruim, mas não consegue encontrar uma alternativa melhor, então acaba fazendo aquele movimento ruim. Sistemas de raciocínio precisos não deveriam fazer isso. Por isso, vemos o que chamam de “dentes de serra na inteligência” — capazes de resolver questões de nível de ouro do IMO, mas que ficam presos em matemática de escola primária.

Sobre agentes, ele admite que estamos apenas no começo. Para alcançar a AGI, é preciso um sistema que possa resolver problemas de forma proativa, e esse é o caminho do agente. Mas ainda está na fase de experimentação, na maioria dos cenários ainda é um complemento. Ele menciona que ainda não viu ninguém usar ferramentas de IA para criar um jogo AAA que domine as paradas de aplicativos, de acordo com o esforço computacional e as ferramentas atuais, teoricamente seria possível, mas ainda não aconteceu. Isso indica que há algo faltando nos processos ou ferramentas. Ele espera ver esses resultados nos próximos 6 a 12 meses.

Curiosamente, modelos menores estão mudando as regras do jogo. O modelo Flash deles consegue atingir 95% do desempenho de modelos de ponta, mas com apenas um décimo do custo. A técnica de destilação foi originalmente inventada pela DeepMind e ainda é uma das melhores do mundo. Além disso, eles têm uma motivação enorme para otimizar — o Google está integrando o Gemini em todos os seus produtos, envolvendo bilhões de usuários. Isso significa que a velocidade precisa ser muito rápida, a eficiência muito alta e o custo muito baixo. Ele não acha que já atingimos o limite da teoria da informação; após o lançamento de um modelo de ponta, em seis meses a um ano, sua capacidade pode ser comprimida para rodar em dispositivos de borda.

Sobre aplicações científicas, a Isomorphic Labs está indo muito bem, e o AlphaFold é apenas uma etapa no processo de descoberta de medicamentos. O objetivo final deles é criar uma célula virtual completa, um simulador de célula funcional que possa ser perturbado. Estimam que ainda leva cerca de dez anos para uma célula virtual completa, começando pelo núcleo da célula virtual.

A dica mais prática para empreendedores é que problemas difíceis e problemas simples têm dificuldades semelhantes, só que de formas diferentes. A vida é limitada, então é melhor focar naquilo que, se você não fizer, ninguém mais fará. Além disso, nos próximos anos, combinações interdisciplinares serão mais comuns, e a IA tornará a interdisciplinaridade mais fácil. Mas o mais importante é levar a sério a linha do tempo da AGI, imaginar como será esse mundo e construir algo que continue útil quando esse mundo chegar.