ULMFiT: Makalah tahun 2018 yang memungkinkan metode fine-tuning LLM saat ini

ULMFiT dan bagaimana sekarang LLM terhubung

Apa yang sebenarnya terjadi

Pendiri bersama fast.ai, Jeremy Howard, membahas hubungan antara ULMFiT (Universal Language Model Fine-tuning) dan model bahasa besar saat ini. Dia berkata secara langsung: ULMFiT adalah pendekatan pra-pelatihan yang diadaptasi dari sisi visi, yang pertama kali melakukan pemodelan bahasa mandiri pra-pelatihan pada teks umum, kemudian menggunakan “dua langkah pelatihan ulang” untuk menyesuaikan tugas NLP tertentu—pada dasarnya, model LLM arus utama saat ini masih melakukan hal yang sama.

Nilai dari makalah tahun 2018 ini adalah: dapat melakukan pembelajaran transfer NLP dengan data berlabel yang sangat sedikit, sambil memperbarui catatan klasifikasi teks saat itu.

Mengapa sejarah ini layak dipahami

• Howard berbicara dengan percaya diri: dia adalah salah satu penulis makalah tersebut, dan melalui kursus gratis dan alat sumber terbuka fast.ai telah mengajarkan pembelajaran mendalam selama bertahun-tahun.
• Pada waktu itu, memang ada kontribusi teknologi yang orisinal:
  • Pembekuan bertahap (melepaskan pelatihan satu per satu)
  • Pelatihan ulang terpisah (lapisan berbeda dengan laju pembelajaran yang berbeda)
  • Laju pembelajaran segitiga miring (strategi penjadwalan yang meningkat terlebih dahulu kemudian menurun) Teknik-teknik ini memungkinkan praktisi untuk lebih stabil dalam memindahkan model pra-pelatihan ke tugas baru, yang tidak dapat dilakukan oleh metode sebelumnya.

Perbandingan dengan metode sejenis

• word2vec: hanya menghasilkan vektor kata statis, tidak dapat dilatih ulang secara end-to-end.
• ELMo: vektor kata dapat memahami konteks, tetapi saat digunakan tetap beku, tidak memperbarui seluruh model.
• ULMFiT: pertama melakukan pra-pelatihan tanpa pengawasan dalam skala besar, kemudian melakukan pelatihan ulang pada seluruh model.

Tabel di bawah ini merangkum perbedaan ketiganya dalam representasi, pelatihan, dan strategi adaptasi:

Pandangan inti

• ULMFiT membuktikan bahwa “pra-pelatihan mandiri yang umum + pelatihan ulang berbasis tugas” berhasil dalam NLP.
• BERT dan GPT mengikuti jalur yang sama, hanya mengganti dengan Transformer dan kemudian memperbesar skala.

Bagaimana melihat pengaruh

• Tingkat pentingnya: sedang (menetapkan metodologi dan praktik rekayasa bagi penerus, tetapi dampak skala yang sebenarnya berasal dari ekosistem BERT/GPT)
• Kategori: wawasan teknis / penelitian AI / tren industri

Poin yang harus diingat

• Inspirasi untuk pekerjaan nyata:
  1. Pertama, lakukan pra-pelatihan mandiri pada korpus skala besar, biarkan model belajar kemampuan bahasa yang umum;
  2. Saat melakukan pelatihan ulang, gunakan teknik seperti laju pembelajaran bertingkat dan pembekuan bertahap untuk pelatihan yang lebih stabil;
  3. Ketika data berlabel sedikit, pembelajaran transfer dapat secara signifikan meningkatkan efisiensi sampel dan kemampuan generalisasi.
• Ekstensi untuk penelitian:
  • Bagaimana merancang tugas pra-pelatihan, bagaimana menstabilkan pelatihan ulang, detail-detail ini sering kali menentukan efek transfer;
  • Paradigma ini tidak terkait dengan arsitektur, dari RNN hingga Transformer selalu relevan.

Tingkat pentingnya: sedang

Kategori: wawasan teknis, penelitian AI, tren industri

Ringkasan: Untuk narasi LLM saat ini, Anda tidak terlambat, tetapi memahami detail pelatihan ulang ULMFiT masih berguna untuk membangun dan mengoptimalkan sistem; yang benar-benar mendapatkan manfaat adalah pembangun yang melakukan rekayasa dan penelitian serta tim yang berinvestasi jangka panjang, tidak begitu relevan bagi trader jangka pendek.