Pandangan terbaru Karpathy tentang Agen: Perusahaan besar tidak menguasai teknologi inti agen cerdas, pengembang individu sedang mendominasi garis depan.

Andrej Karpathy baru-baru ini membagikan pandangan internal tentang agen AI yang secara langsung menunjukkan kesalahan terbesar di bidang AI saat ini: orang-orang memaksa agen untuk bekerja, sama sekali mengabaikan bahwa mereka harus benar-benar menguasai model dasar terlebih dahulu. AK mengatakan kesimpulan yang berlawanan dengan akal sehat: saat ini yang berada di garis depan agen bukanlah perusahaan besar, melainkan pengembang independen dan wirausahawan. Video saya sertakan di akhir artikel.

Sejak tahun 2016, OpenAI sudah pernah mengalami kesalahan ini, dan membayar mahal dengan waktu selama lima tahun penuh.

Logika inti yang ingin disampaikan Karpathy: Langkah pertama adalah segera menghentikan khayalan bahwa agen bisa melakukan segalanya, dan terlebih dahulu memahami model dasarnya. Langkah kedua adalah menyadari realitas industri, membuat demonstrasi sangat mudah, tetapi membuat produk membutuhkan waktu sepuluh tahun. Mobil otonom telah membuktikan hal ini; jika tahap fondasi dilewati, semua yang dibangun akan runtuh seketika. Langkah ketiga adalah memahami bahwa agen itu sendiri sama sekali bukan produk, model dasar besar adalah inti sebenarnya. Selama fondasinya dibangun dengan baik, agen akan muncul secara alami.

Mengingat pengalaman di OpenAI pada tahun 2016, Karpathy bersama Tim Shi dan Jim Fan berpartisipasi dalam sebuah proyek bernama World of Bits. Tujuan awal mereka adalah membuat agen pembelajaran penguatan keluar dari pengujian seperti bermain game, tidak lagi memainkan Montezuma's Revenge, tetapi mencoba menggunakan komputer, keyboard, dan mouse.

Mereka berharap agen dapat melakukan tugas sehari-hari yang benar-benar berguna, seperti memesan tiket pesawat atau memesan makanan di halaman web yang sangat sederhana. Saat itu, mereka membuat AI mengklik tombol mouse dan keyboard secara gila-gilaan, mencoba beruntung memasuki dunia cerdas yang lebih maju. Hasilnya jelas, proyek ini gagal total.

Teknologi saat itu sama sekali tidak memadai, satu-satunya palu yang dimiliki tim hanyalah pembelajaran penguatan. Hal yang paling benar pada saat itu adalah melupakan agen AI sama sekali, dan memusatkan seluruh energi pada pembangunan model bahasa.

Lima tahun kemudian, setelah singgah sebentar di bidang mobil otonom, Karpathy menemukan bahwa agen AI kembali menjadi topik hangat mutlak di industri, tetapi seluruh rantai alat telah berubah secara dramatis. Cara orang memecahkan masalah ini hari ini telah direkonstruksi sepenuhnya; pengembang agen kemungkinan besar tidak perlu menggunakan teknik pembelajaran penguatan sama sekali. Evolusi semacam ini melampaui dugaan semua orang saat itu.

Sekarang semua orang sangat antusias mengejar agen, karena mudah untuk membayangkan bahwa kecerdasan umum buatan pada akhirnya akan muncul dalam bentuk agen AI tertentu. Di masa depan, kemungkinan besar akan ada sekelompok agen, bahkan membentuk organisasi atau peradaban entitas digital yang besar. Ini memang terdengar menggembirakan.

Menghadapi hiruk-pikuk ini, Karpathy memilih untuk menuangkan air dingin. Ada satu kelas masalah yang sangat mudah untuk menggunakan imajinasi, dan juga mudah untuk membuat demonstrasi yang keren, tetapi sangat sulit untuk mengubahnya menjadi produk nyata.

Mobil otonom adalah contoh yang sangat khas. Sangat mudah membayangkan mobil berkeliling blok secara otomatis dan membuat demonstrasi, tetapi untuk mengubahnya menjadi produk yang benar-benar diterapkan diperlukan waktu sepuluh tahun. Bidang VR juga demikian. Agen juga memenuhi karakteristik ini; imajinasi dan demonstrasi mudah, tetapi untuk benar-benar membuatnya berfungsi, pengembang harus siap bertahan selama sepuluh tahun.

Untuk mencari ide baru, Karpathy menyarankan semua orang untuk kembali mendapatkan inspirasi dari ilmu saraf. Pembelajaran mendalam awal justru melakukan hal ini; sekarang mengembangkan agen dapat sepenuhnya merujuk pada cara kerja otak.

Sebuah entitas digital yang lengkap perlu memiliki semua alat kognitif yang dimiliki manusia. Selain model bahasa sebagai bagian dari solusi, diperlukan juga asisten internal untuk merencanakan dan merefleksikan perilaku sebelumnya.

Struktur otak menyediakan cetak biru referensi yang sempurna. Padanan hipokampus dalam agen AI adalah merekam jejak memori, menggunakan teknik penyematan vektor untuk pengindeksan dan pencarian. Kita kira-kira tahu cara membangun korteks visual dan pendengaran untuk entitas digital, dan peran talamus juga layak dipikirkan. Talamus bertanggung jawab untuk mengintegrasikan semua informasi, bisa dikatakan sebagai tempat kesadaran. Ketika beberapa entitas digital berebut kendali dan mikrofon untuk menentukan tindakan selanjutnya, talamus bertanggung jawab untuk menangani konflik yang kompleks ini. Karpathy juga merekomendasikan buku David Eagleman The Brain and Behavior, berpikir bahwa ilmu saraf mengandung inspirasi brilian untuk merancang individu digital.

Akhirnya, Karpathy membagikan status industri yang sangat revolusioner.

Saat ini, orang-orang yang berada di garis depan kemampuan agen AI, tidak diragukan lagi, adalah pengembang independen dan wirausahawan yang sedang membangun agen. OpenAI atau DeepMind, laboratorium model bahasa besar, saat ini tidak berada di garis depan dalam lintasan agen.

OpenAI sangat mahir melatih model Transformer bahasa yang besar. Jika sekarang ada makalah yang mengusulkan metode pelatihan Transformer baru, kemungkinan besar di dalam OpenAI sudah dicoba dua setengah tahun yang lalu, dan mereka tahu dengan jelas alasan keberhasilan atau kegagalan. Perusahaan besar memiliki hambatan teknis absolut di bidang ini.

Situasinya benar-benar berbeda ketika sebuah makalah tentang agen baru diterbitkan. Tim perusahaan besar juga akan merasa tercerahkan, karena mereka tidak mengembangkan secara rahasia di cabang khusus ini selama lima tahun. Ini berarti raksasa di lintasan ini harus bersaing dengan semua wirausahawan akar rumput dan peretas.

Bagi pengembang biasa yang sekarang mengembangkan agen, kalian berada di garis depan teknologi transformatif ini.

Sumber artikel: AI寒武纪

Peringatan Risiko dan Ketentuan

          Pasar memiliki risiko, investasi harus berhati-hati. Artikel ini tidak merupakan saran investasi pribadi, dan juga tidak mempertimbangkan tujuan investasi, kondisi keuangan, atau kebutuhan khusus pengguna tertentu. Pengguna harus mempertimbangkan apakah pendapat, pandangan, atau kesimpulan dalam artikel ini sesuai dengan kondisi spesifik mereka. Investasi berdasarkan ini, tanggung jawab sepenuhnya ada pada diri sendiri.