Baru saja menonton ulang Demis Hassabis berbicara di Y Combinator tentang posisi kita saat ini terhadap AGI, dan jujur beberapa pendapat layak dipertimbangkan sebentar.

Jadi begini: menurut pendiri DeepMind, kita pada dasarnya sudah memiliki sebagian besar komponen arsitektur yang kita butuhkan untuk AGI. Pra-pelatihan skala besar, RLHF, penalaran rantai-pikiran—ini mungkin akan menjadi bagian dari arsitektur akhir. Tapi masih ada satu atau dua bagian penting yang hilang. Pembelajaran berkelanjutan, penalaran jangka panjang, dan aspek tertentu dari memori masih belum terpecahkan. Garis waktu pribadinya? Sekitar tahun 2030. Jika itu bahkan mendekati benar, itu mengubah cara Anda harus memikirkan proyek jangka panjang yang sedang Anda bangun hari ini.

Yang menarik perhatian saya adalah masalah "kecerdasan bergerigi" yang dia gambarkan. Model-model saat ini bisa menyelesaikan masalah matematika tingkat medali emas IMO tetapi kemudian membuat kesalahan aritmatika sekolah dasar pada pertanyaan yang berbeda. Rasanya proses penalaran memiliki titik buta besar. Dia memberi contoh catur—kadang Gemini menyadari bahwa dia akan melakukan langkah buruk tetapi tetap melakukannya karena tidak bisa menemukan alternatif yang lebih baik. Sistem yang benar-benar cerdas seharusnya tidak bekerja seperti itu. Tim DeepMind berpikir memperbaiki ini mungkin hanya membutuhkan satu atau dua peningkatan spesifik, tetapi ini adalah celah yang jelas.

Tentang agen: Hassabis cukup langsung—kita baru mulai. Semua orang bereksperimen, tetapi kita belum benar-benar menemukan kasus penggunaan utama. Dia menyebutkan bahwa belum ada yang menciptakan game AAA peringkat atas menggunakan alat pengkodean AI meskipun secara teori itu memungkinkan dengan kemampuan saat ini. Ada sesuatu yang hilang baik di alat maupun prosesnya. Dia memperkirakan akan melihat terobosan nyata dalam aplikasi agen dalam 6-12 bulan ke depan.

Diskusi tentang memori juga menarik. Jendela konteks satu juta token terdengar besar sampai Anda menyadari itu hanya sekitar 20 menit streaming video. Dan pendekatan saat ini pada dasarnya memasukkan semuanya ke dalam jendela tersebut—data penting dan tidak penting bercampur. Otak melakukan ini secara elegan melalui siklus tidur dan konsolidasi memori. DeepMind sudah memikirkan ini sejak hari DQN di tahun 2013, mengambil dari neuroscience, tetapi kita masih menggunakan pendekatan kasar.

Di sisi distilasi: hipotesis mereka adalah bahwa dalam 6-12 bulan setelah merilis model mutakhir, mereka dapat mengompresi kemampuannya ke dalam model yang jauh lebih kecil yang berjalan di perangkat edge. Mereka belum mencapai batas teoretis apa pun. Model Gemma adalah contoh bagus—Gemma 4 tampil sangat baik untuk ukurannya. Ini penting karena berarti AI yang cepat, efisien, dan pribadi—berjalan secara lokal di ponsel atau robot Anda daripada di cloud.

Yang benar-benar menonjol adalah poinnya tentang terobosan ilmiah. AlphaFold sangat besar—tiga juta peneliti di seluruh dunia sekarang menggunakannya, dan dia mendengar itu akan menjadi bagian dari hampir setiap proses penemuan obat di masa depan. Tapi itu baru permulaan. Dia menyebutnya "tes Einstein": bisakah Anda melatih sistem dengan pengetahuan dari tahun 1901 dan membuatnya secara mandiri menyimpulkan apa yang Einstein temukan pada tahun 1905? Setelah itu berhasil, kita dekat dengan sistem yang benar-benar bisa menciptakan hal baru daripada hanya menyelesaikan masalah yang ada.

Bagi pendiri, nasihatnya langsung: kejar masalah yang hanya bisa Anda selesaikan jika Anda tidak melakukannya. Jangan mengoptimalkan untuk yang mudah. Juga—dan ini penting—jika Anda memulai proyek teknologi mendalam hari ini yang dimaksudkan sebagai perjalanan sepuluh tahun, Anda harus mempertimbangkan kemungkinan bahwa AGI mungkin muncul di tengah jalan. Pikirkan apakah proyek Anda bisa bekerja dengan AGI, bagaimana integrasinya, apakah tetap berguna di dunia itu. Visinya adalah sistem khusus seperti AlphaFold yang berfungsi sebagai alat yang model umum seperti Gemini bisa panggil, bukan semuanya dimasukkan ke dalam satu model besar.

Sudut multimodal untuk DeepMind juga menarik. Membangun Gemini multimodal dari awal lebih sulit pada awalnya, tetapi sekarang membuahkan hasil—model dunia yang lebih baik, aplikasi robotik, integrasi mengemudi otonom. Itu menjadi keunggulan kompetitif.

Secara keseluruhan, percakapan ini melukiskan gambaran kemajuan AI yang cepat tetapi masih memiliki hambatan teknis tertentu yang harus diatasi. Kita tidak hanya meningkatkan skala menuju AGI—ada masalah nyata yang perlu diselesaikan. Dan bagi siapa saja yang membangun di bidang ini, garis waktu sangat penting. Pikirkan apa yang tetap berharga saat lanskap berubah.