Acabei de ouvir o podcast do Y Combinator com Demis Hassabis, e honestamente, algumas das opiniões dele sobre AGI e o que realmente falta nos modelos atuais tiveram um impacto diferente. O cara tem pensado nisso há mais tempo do que quase qualquer um, e o que é impressionante é o quão fundamentada é a sua perspectiva — sem hype, apenas uma avaliação prática.

Então, aqui está o que ficou comigo: já temos a maioria das peças. Pré-treinamento em grande escala, RLHF, raciocínio em cadeia — estas quase certamente farão parte da arquitetura final de AGI. Mas talvez ainda haja uma ou duas lacunas críticas. Aprendizado contínuo, raciocínio de longo prazo, sistemas de memória que não apenas enchem tudo em janelas de contexto como estamos fazendo com fita adesiva. A opinião dele? Por volta de 2030 para AGI, e honestamente, isso muda a forma como você deve pensar em construir as coisas hoje.

O que realmente me chamou atenção foi a observação dele sobre o estado atual do raciocínio. Os modelos podem resolver problemas que, na minha opinião, são de medalha de ouro, mas falham em matemática elementar dependendo de como você formula. Existe esse problema de inteligência irregular — o sistema não tem algo na introspecção sobre seu próprio processo de pensamento. É como assistir ao Gemini jogar xadrez, perceber que um movimento é ruim, mas fazê-lo mesmo assim porque não consegue raciocinar uma alternativa melhor. Isso não deveria acontecer em um sistema de raciocínio preciso.

Sobre agentes, ele é claro: estamos apenas começando. Todo mundo está fazendo hype com agentes, mas o trabalho de verdade é torná-los realmente úteis, não apenas demonstrações. Ele mencionou algo interessante — ninguém criou ainda um jogo AAA de sucesso usando codificação por IA. Com as ferramentas atuais, teoricamente possível, mas algo ainda está faltando no processo ou nas próprias ferramentas. Ele espera ver essa mudança em 6 a 12 meses.

O ângulo de destilação também é fascinante. A hipótese deles é que, dentro de 6 a 12 meses após o lançamento de um modelo de ponta, eles podem comprimir suas capacidades em algo que roda em dispositivos de borda. Modelos rápidos atingindo 95% do desempenho de ponta a um décimo do custo. E aqui está o mais impressionante — eles ainda não atingiram nenhum limite teórico na densidade de informação. Isso é enorme para o que é possível com modelos menores.

No lado de avanços científicos, ele falou sobre o que chama de "teste Einstein". Você consegue treinar um sistema com conhecimento até 1901 e fazê-lo derivar independentemente a relatividade especial? Uma vez que isso funcione, esses sistemas estão próximos de invenção real, não apenas de reconhecimento de padrões. AlphaFold foi o protótipo — agora é padrão na descoberta de medicamentos. Mas ainda estamos na fase inicial na maioria dos campos.

O conselho para fundadores do Y Combinator foi afiado: persigam problemas que só vocês podem resolver. Se você está começando um projeto de tecnologia avançada hoje, precisa incorporar AGI no seu planejamento. Um projeto de dez anos pode atingir AGI no meio do caminho. Não construa algo que se torne obsoleto; construa algo que permaneça valioso em um mundo com AGI. Pense em como sistemas especializados, como o AlphaFold, irão se integrar com modelos de uso geral como ferramentas, e não tudo encaixado em um único modelo gigante.

Uma última coisa que ressoou — ele falou sobre como o trabalho multidisciplinar ficará mais fácil com IA, e como precisamos parar de pensar em tudo como um cérebro unificado. Ferramentas especializadas coexistirão com sistemas gerais. Essa provavelmente é a estrutura que vale a pena pensar se você estiver construindo algo hoje.