Baru saja mendengarkan podcast Y Combinator dengan Demis Hassabis, dan jujur saja, beberapa pandangannya tentang AGI dan apa yang sebenarnya hilang dari model-model saat ini terasa berbeda. Pria ini telah memikirkan hal ini lebih lama dari hampir siapa pun, dan yang luar biasa adalah betapa berlandaskan kenyataan perspektifnya—bukan hype, hanya penilaian praktis.

Jadi inilah hal yang melekat di pikiran saya: kita sudah memiliki sebagian besar bagiannya. Pra-pelatihan skala besar, RLHF, penalaran rantai-pikiran—ini hampir pasti akan menjadi bagian dari arsitektur AGI akhir. Tapi mungkin masih ada satu atau dua kekurangan kritis yang tersisa. Pembelajaran berkelanjutan, penalaran jangka panjang, sistem memori yang tidak hanya memasukkan semuanya ke dalam jendela konteks seperti kita menggunakan lakban. Pandangannya? Sekitar tahun 2030 untuk AGI, dan jujur saja, itu mengubah cara Anda harus berpikir tentang membangun sesuatu hari ini.

Yang benar-benar membuat saya terkesan adalah pengamatannya tentang keadaan penalaran saat ini. Model bisa menyelesaikan masalah medali emas IMO tetapi gagal pada matematika dasar tergantung bagaimana Anda mengungkapkannya. Ada masalah kecerdasan yang bergerigi—sistem kekurangan sesuatu dalam introspeksi tentang proses berpikirnya sendiri. Ini seperti menonton Gemini bermain catur, menyadari langkah itu buruk, tetapi tetap melakukannya karena tidak bisa bernalar ke opsi yang lebih baik. Itu seharusnya tidak terjadi dalam sistem penalaran yang tepat.

Tentang agen, dia jelas: kita baru mulai. Semua orang mempromosikan agen, tetapi pekerjaan nyata adalah membuat mereka benar-benar berguna, bukan hanya demo. Dia menyebutkan sesuatu yang menarik—belum ada yang menciptakan game AAA teratas menggunakan pengkodean AI. Dengan alat saat ini, secara teoretis memungkinkan, tetapi ada sesuatu yang masih hilang dalam proses atau alat itu sendiri. Dia memperkirakan akan melihat perubahan itu dalam 6-12 bulan.

Sudut pandang distilasi juga menarik. Hipotesis mereka adalah bahwa dalam 6-12 bulan setelah merilis model mutakhir, mereka dapat memadatkan kemampuannya ke dalam sesuatu yang berjalan di perangkat edge. Model kilat mencapai 95% dari performa frontier dengan sepersepuluh biaya. Dan inilah yang paling mencengangkan—mereka belum mencapai batas teoretis pada densitas informasi. Itu besar untuk apa yang mungkin dilakukan dengan model yang lebih kecil.

Di sisi terobosan ilmiah, dia berbicara tentang apa yang dia sebut "tes Einstein." Bisakah Anda melatih sistem dengan pengetahuan hingga tahun 1901 dan membuatnya secara independen menyimpulkan relativitas khusus? Setelah itu berhasil, sistem ini mendekati penemuan nyata, bukan sekadar pencocokan pola. AlphaFold adalah prototipe—sekarang menjadi standar dalam penemuan obat. Tapi kita masih berada di fase awal untuk sebagian besar bidang.

Nasihat untuk pendiri di Y Combinator sangat tajam: kejar masalah yang hanya bisa Anda selesaikan. Jika Anda memulai proyek teknologi mendalam hari ini, Anda perlu memasukkan AGI ke dalam perencanaan Anda. Sebuah proyek sepuluh tahun mungkin mencapai AGI di tengah jalan. Jangan bangun sesuatu yang menjadi usang; bangun sesuatu yang tetap berharga di dunia AGI. Pikirkan bagaimana sistem khusus seperti AlphaFold akan terintegrasi dengan model-model umum sebagai alat, bukan semuanya dimasukkan ke dalam satu model besar.

Satu hal terakhir yang resonansi—dia berbicara tentang kerja lintas disiplin menjadi lebih mudah dengan AI, dan bagaimana kita perlu berhenti memikirkan semuanya sebagai satu otak yang bersatu. Alat khusus akan berdampingan dengan sistem umum. Itu mungkin kerangka kerja yang layak dipikirkan jika Anda membangun sesuatu hari ini.