Recentemente vi uma entrevista do fundador da DeepMind, Hassabis, na YC, e alguns pontos foram bastante impactantes. Ele disse que se você iniciar um projeto de tecnologia avançada com prazo de dez anos, deve incluir no planejamento a emergência da AGI no meio do caminho. Isso não é alarmismo, a sua linha do tempo pessoal é por volta de 2030.

Ao ouvir os detalhes técnicos, fica claro por que a AGI ainda falta uma ou duas peças do quebra-cabeça. Treinamento em larga escala, RLHF, cadeias de pensamento, essas tecnologias já foram comprovadas, e ele tem certeza de que farão parte da arquitetura final da AGI. Mas aprendizagem contínua, raciocínio de longo prazo, alguns aspectos da memória ainda não estão realmente resolvidos. A abordagem atual basicamente é encher a janela de contexto com tudo, o que é bastante bruto. Ele exemplifica que uma janela de contexto de um milhão de tokens parece grande, mas se for lidar com streaming de vídeo em tempo real, na verdade só dá para 20 minutos de dados. Para fazer o sistema entender sua vida de um ou dois meses, isso é insuficiente.

O problema do raciocínio é ainda mais interessante. Ele costuma observar o Gemini jogando xadrez, e percebe que às vezes ele percebe que um movimento é ruim, mas não consegue encontrar uma alternativa melhor, então acaba fazendo aquele movimento ruim. Sistemas de raciocínio precisos não deveriam fazer isso. Por isso, vemos o chamado "sawtooth intelligence" — capaz de resolver questões de nível de medalha de ouro na IMO, mas que fica preso em matemática de escola primária.

Sobre agentes, ele admite que estamos apenas no começo. Para alcançar a AGI, é preciso um sistema que possa resolver problemas de forma proativa, e esse é o caminho do agente. Mas ainda está na fase experimental, na maioria dos cenários ainda é um complemento. Ele menciona que ainda não viu ninguém usar ferramentas de IA para criar um jogo AAA que domine as paradas de aplicativos, de acordo com o esforço computacional e as ferramentas atuais, teoricamente seria possível, mas ainda não aconteceu. Isso indica que há algo faltando nos processos ou ferramentas. Ele prevê que nos próximos 6 a 12 meses veremos esses resultados.

Curiosamente, modelos menores estão mudando as regras do jogo. O modelo Flash deles consegue atingir 95% do desempenho dos modelos de ponta, mas com apenas um décimo do custo. A técnica de destilação foi originalmente inventada pela DeepMind, e ainda é uma das melhores do mundo. Além disso, eles têm uma motivação enorme para otimizar — o Google está integrando o Gemini em todos os seus produtos, envolvendo bilhões de usuários. Isso significa que a velocidade precisa ser muito alta, a eficiência máxima, e o custo, mínimo. Ele não acha que já atingimos o limite teórico da informação; após o lançamento de um modelo de ponta, em seis meses a um ano, sua capacidade pode ser comprimida para rodar em dispositivos de borda.

Sobre aplicações científicas, a Isomorphic Labs está indo muito bem, e o AlphaFold é apenas uma etapa no processo de descoberta de medicamentos. O objetivo final deles é criar uma célula virtual completa, um simulador de célula funcional que possa ser perturbado. Estima-se que ainda levem cerca de dez anos para uma célula virtual completa, começando pelo núcleo da célula virtual.

A dica mais prática para empreendedores é que problemas difíceis e problemas simples têm dificuldades semelhantes, apenas os métodos de enfrentamento são diferentes. A vida é limitada, então é melhor focar naquilo que, se você não fizer, ninguém mais fará. Além disso, nos próximos anos, combinações interdisciplinares serão mais comuns, e a IA tornará essas combinações mais fáceis. Mas o mais importante é levar a sério a linha do tempo da AGI, imaginar como será esse mundo, e construir algo que continue útil quando esse mundo chegar.