Kompetisi Model Besar AI: Dari Titik Panas Akademis ke Masalah Rekayasa

Bulan lalu, terjadi pertarungan sengit di bidang AI yang disebut "Perang Hewan".

Satu sisi adalah Llama, unta Amerika yang sangat disukai oleh pengembang karena sifatnya yang open source. Di sisi lain adalah model besar bernama Falcon. Pada bulan Mei, setelah Falcon-40B diluncurkan, ia mengalahkan Llama dan menduduki puncak daftar peringkat LLM open source.

Papan peringkat ini dibuat oleh komunitas model sumber terbuka, menyediakan standar untuk mengevaluasi kemampuan LLM. Peringkat pada dasarnya adalah Llama dan Falcon yang bergantian menyegarkan. Setelah peluncuran Llama 2, keluarga llama sementara memimpin; tetapi pada awal September, Falcon merilis versi 180B yang kembali mencapai peringkat lebih tinggi.

Menariknya, pengembang "Falcon" bukanlah perusahaan teknologi, melainkan sebuah lembaga riset inovasi teknologi di ibu kota Uni Emirat Arab. Orang-orang pemerintah menyatakan bahwa mereka terlibat dalam proyek ini untuk mengguncang para pemain inti.

Saat ini, bidang AI telah memasuki fase berkembang pesat. Negara dan perusahaan yang memiliki kekuatan sedang membangun model bahasa besar mereka sendiri. Di kawasan Teluk saja, ada lebih dari satu pemain - pada bulan Agustus, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk universitas domestiknya guna melatih LLM.

Seorang investor mengeluh: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada hambatan. Tidak menyangka bahwa startup model besar teknologi keras masih merupakan pertarungan seratus model..."

Mengapa teknologi keras yang diklaim sulit ini menjadi tren yang bisa diikuti oleh semua orang?

Kebangkitan Transformer

Perusahaan rintis di Amerika, raksasa teknologi China, dan taipan minyak Timur Tengah dapat terjun ke dalam model besar, semua berkat makalah terkenal "Attention Is All You Need."

Pada tahun 2017, delapan ilmuwan komputer mempublikasikan algoritma Transformer dalam makalah ini. Makalah ini saat ini adalah literatur yang paling sering dikutip ketiga dalam sejarah AI, dan kemunculan Transformer telah memicu gelombang panas AI kali ini.

Model-model besar saat ini, termasuk seri GPT yang mengguncang dunia, dibangun di atas dasar Transformer.

Sebelum ini, "mengajarkan mesin untuk membaca" telah diakui sebagai masalah akademis yang sulit. Berbeda dengan pengenalan gambar, ketika manusia membaca, mereka tidak hanya memperhatikan kata-kata saat ini, tetapi juga menggabungkannya dengan konteks untuk memahami. Input dari jaringan saraf awal saling independen, tidak dapat memahami teks panjang, sering kali terjadi kesalahan terjemahan.

Pada tahun 2014, ilmuwan Google Ilia Sutskever pertama kali mencapai terobosan. Ia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, yang secara signifikan meningkatkan kinerja Google Translate. RNN mengusulkan "desain berulang", yang memungkinkan setiap neuron menerima input dari saat ini dan sebelumnya secara bersamaan, sehingga memiliki kemampuan "menggabungkan konteks".

Kemunculan RNN telah memicu semangat penelitian di kalangan akademisi, tetapi para pengembang dengan cepat menyadari bahwa ada cacat serius: algoritma ini menggunakan komputasi berurutan, meskipun telah menyelesaikan masalah konteks, tetapi efisiensi operasinya rendah dan sulit untuk menangani banyak parameter.

Sejak tahun 2015, Noam Shazeer dan 8 peneliti lainnya mulai mengembangkan alternatif untuk RNN, yang akhirnya menghasilkan Transformer. Dibandingkan dengan RNN, Transformer memiliki dua perubahan besar: yang pertama adalah menggunakan pengkodean posisi menggantikan desain siklik, memungkinkan perhitungan paralel, secara signifikan meningkatkan efisiensi pelatihan, dan mendorong AI memasuki era model besar; yang kedua adalah semakin memperkuat kemampuan pemahaman konteks.

Transformer secara langsung menyelesaikan berbagai kekurangan, secara bertahap berkembang menjadi solusi utama di bidang NLP. Ini mengubah model besar dari penelitian teoritis menjadi masalah rekayasa murni.

Pada tahun 2019, OpenAI mengembangkan GPT-2 berdasarkan Transformer, yang mengagumkan dunia akademis. Google segera meluncurkan Meena yang lebih kuat, hanya dengan menambah parameter dan daya komputasi untuk melampaui GPT-2. Hal ini sangat mengejutkan penulis Transformer, Shazeer, yang menulis memo "Meena Menyapu Dunia."

Setelah kemunculan Transformer, kecepatan inovasi algoritma dasar di kalangan akademisi sangat melambat. Elemen-elemen rekayasa seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam kompetisi AI. Selama suatu perusahaan memiliki kekuatan teknis tertentu, mereka dapat mengembangkan model besar.

Ilmuwan komputer Andrew Ng dalam pidatonya di Universitas Stanford menyatakan: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, dan AI generatif. Semua ini adalah teknologi umum, mirip dengan listrik dan internet."

Meskipun OpenAI masih menjadi panutan untuk LLM, lembaga analisis berpendapat bahwa keunggulan GPT-4 terutama terletak pada solusi rekayasa. Jika open source, pesaing mana pun dapat dengan cepat menyalinnya. Analis tersebut memperkirakan bahwa perusahaan teknologi besar lainnya segera dapat membangun model besar yang sebanding dengan kinerja GPT-4.

Parit yang Rentan

Kini, "perang seratus model" bukan lagi ungkapan yang berlebihan, melainkan kenyataan objektif.

Laporan terkait menunjukkan bahwa hingga Juli tahun ini, jumlah model besar domestik telah mencapai 130, melebihi 114 di Amerika Serikat. Berbagai mitos dan legenda sudah tidak cukup untuk digunakan sebagai nama oleh perusahaan teknologi domestik.

Selain China dan Amerika, beberapa negara kaya lainnya juga telah mencapai "satu negara satu model" secara awal: Jepang dan Uni Emirat Arab telah memiliki model besar mereka sendiri, serta Bhashini yang dipimpin oleh pemerintah India, dan HyperClova X yang dibuat oleh perusahaan internet Korea, Naver.

Adegan ini seolah kembali ke era awal internet yang dipenuhi gelembung. Seperti yang disebutkan sebelumnya, Transformer menjadikan model besar sebagai masalah rekayasa murni; selama ada orang yang memiliki uang dan kartu grafis, sisanya diserahkan pada parameter. Namun, meskipun ambang masuknya tidak tinggi, bukan berarti semua orang bisa menjadi raksasa di era AI.

Kasus klasik yang disebutkan di awal "Pertarungan Hewan" adalah: Meskipun Falcon telah melampaui Llama dalam peringkat, sulit untuk mengatakan seberapa besar dampak yang ditimbulkan pada Meta.

Seperti yang kita ketahui, perusahaan membuka sumber hasilnya, baik untuk berbagi manfaat teknologi maupun berharap dapat memotivasi kecerdasan sosial. Dengan berbagai pihak yang terus menggunakan dan memperbaiki Llama, Meta dapat menerapkan hasil ini ke dalam produk mereka sendiri.

Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan kompetitif inti.

Meta telah menetapkan jalur open-source sejak mendirikan laboratorium AI pada tahun 2015; Zuckerberg yang memulai karirnya di media sosial, lebih memahami cara "menjalin hubungan baik dengan masyarakat".

Pada bulan Oktober, Meta juga mengadakan acara "Insentif Kreator Versi AI": pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan memiliki kesempatan untuk mendapatkan dana sebesar 500.000 dolar.

Saat ini, seri Llama dari Meta telah menjadi panutan untuk LLM sumber terbuka. Hingga awal Oktober, di antara 10 besar peringkat LLM sumber terbuka, 8 di antaranya dikembangkan berdasarkan Llama 2. Hanya di platform tersebut, jumlah LLM yang menggunakan protokol sumber terbuka Llama 2 telah melebihi 1500.

Tentu saja, meningkatkan kinerja seperti Falcon juga tidak ada salahnya, tetapi saat ini sebagian besar LLM di pasar masih memiliki perbedaan yang jelas dengan GPT-4.

Misalnya, baru-baru ini, GPT-4 meraih peringkat pertama dalam pengujian AgentBench dengan skor 4,41. AgentBench diluncurkan oleh Tsinghua University bekerja sama dengan beberapa universitas terkenal di AS, digunakan untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan terbuka multidimensi, dengan konten ujian mencakup sistem operasi, basis data, grafik pengetahuan, pertempuran kartu, dan 8 skenario berbeda lainnya.

Hasil tes menunjukkan, peringkat kedua Claude hanya mendapat 2,77 poin, jarak masih cukup signifikan. Adapun LLM sumber terbuka yang bersuara keras, nilainya umumnya sekitar 1 poin, belum mencapai seperempat dari GPT-4.

Perlu diketahui, GPT-4 diluncurkan pada bulan Maret tahun ini, ini masih merupakan hasil dari upaya mengejar lebih dari setengah tahun oleh rekan-rekan di seluruh dunia. Penyebab dari perbedaan ini adalah tim ilmuwan OpenAI yang luar biasa dan pengalaman penelitian LLM yang telah terakumulasi selama bertahun-tahun, sehingga mereka dapat selalu tetap berada di depan.

Artinya, keunggulan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem ( sumber terbuka ) atau kemampuan inferensi murni ( tertutup ).

Dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan menjadi serupa, karena semua orang menggunakan arsitektur model dan dataset yang serupa.

Tantangan lain yang lebih intuitif adalah: selain Midjourney, tampaknya belum ada model besar lain yang benar-benar menguntungkan.

Di mana titik nilai?

Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin bangkrut pada akhir 2024" menarik perhatian. Inti artikel tersebut hampir bisa diringkas dalam satu kalimat: Kecepatan pengeluaran OpenAI terlalu cepat.

Dalam teks disebutkan bahwa sejak pengembangan ChatGPT, kerugian OpenAI meningkat dengan cepat, hanya pada tahun 2022 kerugian mencapai sekitar 540 juta dolar AS, dan hanya bisa bergantung pada investasi dari Microsoft.

Meskipun judul artikel terdengar berlebihan, itu juga mencerminkan banyak kondisi penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.

Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang menghasilkan uang besar dari AI, paling banyak diikuti oleh Broadcom.

Menurut estimasi perusahaan konsultan Omdia, Nvidia telah menjual lebih dari 300.000 H100 pada kuartal kedua tahun ini. Ini adalah chip dengan efisiensi pelatihan AI yang sangat tinggi, dan perusahaan teknologi serta lembaga penelitian di seluruh dunia sedang berebut untuk membelinya. Jika 300.000 H100 tersebut ditumpuk, beratnya setara dengan 4,5 pesawat Boeing 747.

Kinerja Nvidia terbang tinggi, dengan pendapatan tahunan melonjak 854%, mengejutkan Wall Street. Saat ini H100 dijual di pasar sekunder dengan harga 40-50 ribu dolar, sementara biaya materialnya hanya sekitar 3000 dolar.

Biaya tinggi untuk daya komputasi telah menjadi hambatan dalam pengembangan industri. Sequoia Capital pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimum 75 miliar dolar AS setiap tahun, dengan celah setidaknya 125 miliar dolar AS.

Selain itu, kecuali beberapa pengecualian seperti Midjourney, sebagian besar perusahaan perangkat lunak belum menemukan model keuntungan yang jelas meskipun telah menginvestasikan sejumlah besar uang. Terutama, eksplorasi pemimpin industri seperti Microsoft dan Adobe agak terhambat.

Alat pembangkit kode AI GitHub Copilot yang dikembangkan oleh Microsoft bekerja sama dengan OpenAI, meskipun membebankan biaya 10 dolar AS per bulan, tetapi karena biaya fasilitas, Microsoft malah merugi 20 dolar AS per pengguna, dan pengguna berat bahkan membuat Microsoft merugi 80 dolar AS per bulan. Berdasarkan ini, diperkirakan bahwa Microsoft 365 Copilot yang dipatok dengan harga 30 dolar AS mungkin merugi lebih banyak.

Sama halnya, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin untuk mencegah pengguna menggunakan terlalu banyak yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi poin yang dialokasikan setiap bulan, Adobe akan mengurangi kecepatan layanan.

Perlu diketahui bahwa Microsoft dan Adobe adalah raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, sebagian besar model besar yang memiliki banyak parameter masih memiliki skenario aplikasi terbesar dalam hal obrolan.

Tidak dapat disangkal, jika tanpa OpenAI dan ChatGPT muncul, revolusi AI ini mungkin tidak akan terjadi sama sekali; tetapi saat ini, nilai yang diciptakan oleh pelatihan model besar mungkin masih perlu diperdebatkan.

Dan, seiring dengan meningkatnya persaingan homogen dan semakin banyaknya model sumber terbuka, pemasok model besar yang murni mungkin menghadapi tantangan yang lebih besar.

Keberhasilan iPhone 4 bukan berasal dari prosesor A4 berproses 45nm, tetapi karena ia dapat memainkan aplikasi seperti Plants vs. Zombies dan Angry Birds.