Diskusi tujuh pendiri bersama, Bagaimana Anthropic lahir?

「Tidak ada yang berniat memulai bisnis, tapi merasa harus melakukannya begini.」

Susun & Kompilasi: Deep Tide TechFlow

Tamu: Anthropic Wakil Presiden/Direktur Inovasi Chris Olah, Jack Clark, Daniela Amodei, Sam McCandlish, Tom Brown, Dario Amodei, Jared Kaplan

Sumber podcast: Anthropic

Judul asli: Building Anthropic | A conversation with our co-founders

Tanggal tayang: 20 Desember 2024

Ringkasan poin-poin utama

Dalam satu pekan terakhir, Anthropic mengalami dua insiden berturut-turut:

Pertama, sekitar 3000 dokumen internal hampir dibuka untuk akses publik akibat kesalahan konfigurasi CMS, lalu disusul oleh Claude Code v2.1.88 yang, saat dirilis di npm, menyelipkan source map berukuran 59,8MB, sehingga 510 ribu baris kode sumber langsung terpajang.

Sebuah perusahaan yang menulis “keamanan” ke dalam gennya, namun justru terus gagal dalam operasi dan pemeliharaan internalnya—ironi yang terasa sampai puncak.

Namun sebelum buru-buru mengejek, ada baiknya mendengarkan lagi percakapan internal tujuh co-founder Anthropic setahun lebih lalu. Podcast ini direkam pada Desember 2024; tujuh orang tersebut membahas bagaimana perusahaan ini dibangun, bagaimana RSP (Responsible Scaling Policy, terjemahan harfiah “Kebijakan Ekspansi yang Bertanggung Jawab”) dipertajam, mengapa kata “keamanan” tidak boleh dipakai sembarangan, serta satu kalimat CEO Dario yang berulang kali dikutip:

“Jika sebuah gedung setiap minggu berbunyi alarm kebakaran, maka itu sebenarnya gedung yang sangat tidak aman.”

Sekarang mendengar kalimat itu lagi, rasanya memang tidak sama.

Tujuh co-founder, cepat kenali wajahnya

Dario Amodei｜CEO, mantan Wakil Presiden Riset di OpenAI, berlatar belakang ilmu saraf (neuroscience), penentu akhir jalur strategi dan keamanan di Anthropic. Dalam percakapan ini, dialah yang paling sering bicara.

Daniela Amodei｜Presiden, kakak perempuan Dario. Sebelumnya bekerja di Stripe selama lima setengah tahun, memimpin tim Trust & Safety, dan lebih awal bekerja di bidang nirlaba dan pembangunan internasional. Pembangunan organisasi dan komunikasi eksternal Anthropic pada dasarnya dipelopori olehnya.

Jared Kaplan｜Profesor fisika yang beralih menjadi peneliti AI, salah satu penulis inti scaling laws. Sering memberi penilaian dari sudut pandang orang luar; ia mengaku membuat AI awalnya karena “bosan dengan fisika, lalu”.

Chris Olah｜Tokoh representatif riset interpretabilitas (interpretability); masuk lingkaran AI Bay Area sejak usia 19 tahun, pernah bekerja di Google Brain dan OpenAI. Di Anthropic, ia adalah orang dengan nuansa idealisme teknologi yang paling kuat.

Tom Brown｜Penulis pertama (first author) pada paper GPT-3, kini mengelola sumber daya komputasi di Anthropic. Sudut pandang lebih condong ke rekayasa dan infrastruktur; dalam podcast ia banyak membahas proses dari “kurang percaya AI akan secepat ini” hingga mengubah pandangannya.

Jack Clark｜Mantan jurnalis teknologi di Bloomberg; pemimpin kebijakan dan urusan publik di Anthropic. Dalam percakapan ini ia berperan sebagai moderator, bertugas menyambungkan sesi dan mengajukan pertanyaan lanjutan.

Sam McCandlish｜Co-founder riset; paling sedikit bicara, tapi sering sekali satu kalimatnya langsung mengena pada inti, tipe “posisi membalas telak” (penyempurnaan).

Ringkasan pandangan menarik

Mengapa membuat AI: dari fisika yang membosankan sampai “sekadar lihat, lalu yakin”

Jared Kaplan: “Saya sebelumnya mengerjakan fisika untuk waktu yang lama, agak bosan, dan ingin bekerja bersama lebih banyak teman—jadi saya membuat AI.”

Dario Amodei: “Saya tidak merasa saya pernah benar-benar membujuk Anda. Saya hanya terus menunjukkan hasil dari model-model AI. Pada suatu titik, ketika saya menunjukkan cukup banyak, Anda kemudian bilang, ‘Ya, ini terlihat benar.’”

Taruhan melawan arus konsensus: mayoritas konsensus adalah efek gerombolan yang menyamar sebagai kedewasaan

Jared Kaplan: “Banyak peneliti AI yang secara psikologis sangat terluka oleh ‘musim dingin AI’, seperti seolah ambisi itu tidak diperbolehkan.”

Dario Amodei: “Pelajaran terdalam saya selama sepuluh tahun terakhir adalah: banyak ‘konsensus yang semua orang tahu’ sebenarnya adalah efek gerombolan yang disamarkan sebagai kedewasaan. Anda pernah melihat konsensus dibalik dalam semalam, lalu orang-orang berkata, ‘Tidak, kita bertaruh di yang ini.’ Bahkan kalau Anda hanya benar 50%, Anda tetap akan memberi kontribusi yang sangat besar, dibanding yang tak memberi kontribusi apa pun.”

Keamanan dan penskalaan saling terkait

Dario Amodei: “Salah satu motivasi kami saat memperbesar model adalah agar model lebih dulu cukup pintar, sehingga RLHF bisa dilakukan. Dan itulah yang masih kami yakini sampai sekarang: keamanan dan penskalaan saling terkait.”

RSP, Kebijakan Ekspansi yang Bertanggung Jawab adalah ‘Konstitusi’ Anthropic

Tom Brown: “Untuk Anthropic, RSP itu seperti konstitusi kami. Ini adalah dokumen inti yang bersifat membimbing, jadi kami bersedia menginvestasikan banyak waktu dan energi untuk terus mengasah dan menyempurnakannya secara berulang.”

Dario Amodei: “RSP akan menghentikan rencana yang tidak memenuhi standar keamanan untuk terus berjalan. Kami bukan sekadar mengobral slogan; kami benar-benar mengintegrasikan keamanan ke setiap tahap.”

Alarm kebakaran terlalu sering berbunyi; saat benar-benar terbakar, tak ada yang lari

Daniela Amodei: “Kita tidak bisa sembarangan memakai kata ‘keamanan’ untuk mengarahkan kemajuan kerja. Target sebenarnya kami adalah memastikan semua orang benar-benar paham keamanan yang kami maksud itu apa.”

Dario Amodei: “Yang benar-benar merugikan keamanan biasanya adalah ‘latihan keamanan’ yang sering dilakukan. Jika ada sebuah gedung yang setiap minggu berbunyi alarm kebakaran, maka itu sebenarnya gedung yang sangat tidak aman.”

“Kegagalan yang mulia” adalah sebuah jebakan

Chris Olah: “Ada anggapan bahwa tindakan yang paling bermoral adalah mengorbankan tujuan lain demi keamanan, dengan begitu menunjukkan kemurnian niat terhadap karier. Tapi cara seperti itu justru self-defeating. Alasannya adalah karena hal ini membuat kendali pengambilan keputusan jatuh ke tangan orang-orang yang tidak mengutamakan keamanan.”

Co-founder berkomitmen menyumbang 80% pendapatan

Tom Brown: “Kami bersama-sama berkomitmen untuk menyumbangkan 80% dari pendapatan kepada inisiatif yang mendorong perkembangan masyarakat—ini adalah hal yang semua orang dukung tanpa ragu.”

Tak ada yang ingin memulai bisnis, tapi merasa harus melakukannya

Sam McCandlish: “Sebenarnya tidak ada di antara kami yang sejak awal punya niat mendirikan perusahaan. Kami hanya merasa ini adalah tanggung jawab kami, karena ini adalah satu-satunya cara untuk memastikan perkembangan AI maju ke arah yang benar.”

Daniela Amodei: “Misi kami jelas sekaligus murni, dan situasi seperti itu tidak umum dalam industri teknologi.”

Interpretabilitas: “bio-buatan” lengkap tersembunyi di jaringan saraf

Chris Olah: “Jaringan saraf itu menakjubkan; ada banyak hal yang bahkan belum pernah kita lihat di dalamnya. Kadang saya membayangkan: sepuluh tahun dari sekarang, masuk ke sebuah toko buku, membeli buku teks tentang biologi jaringan saraf—dan di dalamnya ada beragam hal yang luar biasa.”

AI untuk memperkuat demokrasi, bukan menjadi alat diktator

Dario Amodei: “Kami khawatir jika AI dikembangkan secara keliru, AI bisa berubah menjadi alat bagi rezim otoriter. Bagaimana membuat AI menjadi alat untuk mendorong kebebasan dan penentuan nasib sendiri? Pentingnya bidang ini tidak kalah dengan biologi dan interpretabilitas.”

Dari rapat Gedung Putih sampai Nobel: dampak AI sudah melampaui lingkaran teknologi

Jared Kaplan: “Pada 2018, Anda tidak akan membayangkan presiden akan memanggil Anda ke Gedung Putih untuk membicarakan bahwa mereka sedang memperhatikan model bahasa.”

Dario Amodei: “Kami sudah melihat Nobel di bidang kimia diberikan kepada AlphaFold. Kita harus berupaya mengembangkan alat-alat yang dapat membantu kita menciptakan ratusan AlphaFold.”

Mengapa meneliti AI?

Jack Clark: Mengapa kami memulai AI sejak awal? Jared, mengapa kamu membuat AI?

Jared Kaplan:

Saya sebelumnya mengerjakan fisika untuk waktu yang lama, agak bosan, dan ingin bekerja bersama lebih banyak teman—jadi saya membuat AI.

Tom Brown:

Saya pikir itu karena Dario yang meyakinkan Anda.

Dario Amodei:

Saya tidak merasa saya pernah benar-benar “meyakinkan” Anda dengan jelas. Saya hanya terus menunjukkan hasil dari model AI, untuk menekankan bahwa hasil itu sangat umum—tidak hanya cocok untuk satu masalah saja. Pada suatu titik, ketika saya menunjukkan cukup banyak, Anda kemudian bilang, “Ya, ini terlihat benar.”

**Jack Clark: Chris, saat kamu melakukan riset interpretabilitas, apakah kamu mengenal orang-orang itu di Google? **

Chris Olah:

Bukan. Sebenarnya, saat saya pertama kali datang ke Bay Area pada usia 19 tahun, saya sudah mengenal banyak orang di antara kalian. Waktu itu saya melihat Dario dan Jared—mereka adalah postdoc, dan saya merasa itu sangat keren. Kemudian saya bekerja di Google Brain; setelah Dario bergabung, kami sempat duduk berdampingan untuk sementara waktu, dan saya juga pernah bekerja dengan Tom. Lalu setelah pindah ke OpenAI, kami semua bekerja bersama seperti yang kalian semua lakukan.

Jack Clark:

Saya ingat pada tahun 2015 saya bertemu Dario di sebuah konferensi, dan saya diberitahu Google PR bahwa saya harus membaca semua paper Anda terlebih dahulu sebelum boleh diwawancarai.

Dario Amodei:

Saat itu saya menulis “Concrete Problems in AI Safety” di Google.

Sam McCandlish:

Sebelum mulai bekerja bersama dengan Anda, Anda mengundang saya untuk ngobrol di kantor, seperti memperkenalkan gambaran besar AI secara menyeluruh. Saya ingat setelah obrolan itu saya berpikir, “Ternyata ini jauh lebih serius daripada yang saya sadari.” Anda saat itu membahas “gumpalan komputasi besar”, jumlah parameter, skala neuron otak manusia, dan hal-hal seperti itu.

Ekspansi yang melompati batas

**Jack Clark: **Saya ingat saat membuat scaling laws di OpenAI, begitu model diperbesar, barulah benar-benar menjadi efektif. Dan di banyak proyek, efeknya terus berlanjut, anehnya tetap efektif—dari GPT-2 ke scaling laws ke GPT-3, kami terus makin dekat dengan cara itu.

**Dario Amodei: **Kami memang kelompok yang “membuat semuanya terjadi”.

**Jared Kaplan: **Kami juga sangat bersemangat soal keamanan. Waktu itu ada sebuah gagasan: AI akan sangat kuat, tapi mungkin tidak memahami nilai-nilai manusia, bahkan tidak bisa berkomunikasi dengan kita. Pada tingkat tertentu, model bahasa mampu memastikan ia memahami banyak pengetahuan implisit.

Dario Amodei:

Ada juga RLHF di atas model bahasa. Salah satu motivasi kami memperbesar model saat itu adalah agar modelnya dulu cukup pintar, sehingga RLHF bisa dijalankan. Dan itulah yang masih kami yakini sampai sekarang: keamanan dan penskalaan saling terkait.

Chris Olah:

Ya, saat itu kerja scaling juga sebenarnya bagian dari tim keamanan. Karena kami merasa, agar orang benar-benar menganggap serius keamanan, pertama-tama harus mampu memprediksi tren AI.

Jack Clark:

Saya ingat saya ada di bandara di Inggris; dari sampling GPT-2 saya buat berita palsu, lalu saya kirim ke Dario lewat Slack dengan kalimat, “Ini benar-benar bisa dipakai, mungkin dampaknya besar terhadap kebijakan.” Saya ingat jawaban Dario: “Ya.”

Setelah itu, kami juga mengerjakan banyak hal terkait rilis—dan itu benar-benar gila.

Daniela Amodei:

Saya ingat bagian rilis itu. Itu adalah pertama kalinya kami benar-benar mulai bekerja sama, pada saat GPT-2 dirilis.

Jack Clark:

Saya rasa itu sangat membantu. Kami mulai dengan sesuatu yang “agak aneh tapi mengarah pada keamanan”, lalu kemudian bersama-sama membuat Anthropic—sesuatu yang skala lebih besar, tetapi masih “agak aneh” dan tetap berorientasi pada keamanan.

Tahap awal AI

Tom Brown: Kembali ke artikel “Concrete Problems” ini. Saya masuk OpenAI pada 2016. Saat itu, kamu dan saya sama-sama termasuk angkatan paling awal. Saya merasa artikel itu seperti paper arus utama pertama tentang keamanan AI. Dari mana asalnya?

Dario Amodei:

Chris tahu—dia terlibat. Waktu itu di Google, saya lupa apa sebenarnya proyek utama saya. Tapi paper itu seperti sesuatu yang “saya kerjakan sambil menunda.”

Kami ingin menuliskan apa saja masalah terbuka dalam keamanan AI. Saat itu, keamanan AI sering dibahas dengan cara yang terlalu abstrak. Kami ingin mendaratkannya ke ML nyata yang ada saat itu. Sekarang garis kerja ini sudah berjalan enam sampai tujuh tahun, tapi pada saat itu, itu ide yang aneh.

Chris Olah:

Saya merasa ini, dalam beberapa arti, hampir seperti proyek politik. Saat itu banyak orang tidak menganggap keamanan dengan serius. Kami ingin menyusun daftar masalah yang menurut semua orang masuk akal untuk diakui, banyak di antaranya sebenarnya sudah ada dalam literatur, lalu mencari orang-orang yang kredibel lintas institusi untuk ikut menandatangani bersama.

Saya ingat saya menghabiskan waktu lama, berdiskusi dengan lebih dari dua puluh peneliti di Brain, untuk mendapatkan dukungan agar bisa dipublikasikan. Jika hanya dilihat dari masalahnya sendiri, saat ini ketika menengok ke belakang mungkin tidak semuanya terbukti tepat; mungkin itu bukan pertanyaan yang paling tepat. Tapi jika dipandang sebagai pembangunan konsensus: membuktikan “ada masalah nyata di sini, dan ini layak diperlakukan dengan serius”—maka itu adalah momen penting.

Jack Clark:

Pada akhirnya kamu akan masuk ke dunia sci-fi yang sangat aneh. Saya ingat Anthropic awal membahas Constitutional AI. Jared bilang, ‘Kami menulis sebuah konstitusi untuk model bahasa, dan perilakunya akan seperti itu.’ Waktu itu terdengar gila. Kenapa kalian merasa ini bisa dilakukan?

Jared Kaplan:

Saya sudah berdiskusi lama dengan Dario. Saya merasa metode sederhana sering kali menghasilkan efek yang sangat bagus dalam AI. Versi paling awalnya agak rumit, lalu terus dipangkas, sampai akhirnya menjadi: memanfaatkan fakta bahwa model itu hebat dalam menjawab pilihan ganda; beri petunjuk yang jelas tentang apa yang harus dicari—cukup. Lalu prinsip-prinsipnya bisa langsung ditulis.

Dario Amodei:

Ini kembali ke “gumpalan komputasi besar” (The Big Blob of Compute), “pelajaran pahit” (The Bitter Lesson), dan “asumsi penskalaan” (Scaling Hypothesis). Selama Anda bisa memberi AI tujuan yang jelas dan data, maka ia akan bisa belajar. Sekumpulan instruksi, sekumpulan prinsip—model bahasa bisa membaca, dan juga bisa membandingkannya dengan perilakunya sendiri. Tujuan pelatihan ada di sana. Jadi, menurut saya dan Jared: bisa dilakukan, asalkan detailnya diulang-ulang sampai halus.

Jared Kaplan:

Bagi saya di awal ini terasa aneh. Saya datang dari fisika, lalu sekarang semua orang heboh dengan AI sehingga mudah lupa suasana pada saat itu. Waktu saya berbicara dengan Dario, saya merasa banyak peneliti AI terluka secara psikologis oleh ‘musim dingin AI’. Seolah “punya ambisi” itu tidak diperbolehkan. Untuk berdiskusi soal keamanan, Anda harus percaya AI mungkin sangat kuat dan sangat berguna—tapi pada saat itu ada semacam larangan anti-ambisi. Keuntungan ilmuwan fisika adalah sikap “angkuh”; mereka sering melakukan hal-hal ambisius, terbiasa membicarakan gambaran besar.

Dario Amodei:

Saya pikir ini benar. Pada 2014, banyak hal yang tidak boleh dibicarakan. Ini juga mirip masalah umum di dunia akademik: selain beberapa bidang tertentu, institusi makin membenci risiko. AI industri mewarisi sikap itu. Saya rasa baru sekitar 2022 mulai keluar dari pola tersebut.

Chris Olah:

Ada juga dua bentuk “sifat konservatif”: satu adalah serius melihat risiko; yang lain adalah menganggap serius risiko, sekaligus menganggap bahwa sikap percaya pada ide yang mungkin berhasil itu sendiri adalah kesombongan. Saat itu, kami berada di bawah dominasi bentuk yang kedua. Dalam sejarah pun ada kemiripan pada diskusi fisika nuklir 1939: Fermi menolak, sedangkan Szilard atau Teller justru lebih serius menilai risiko.

Dario Amodei:

Pelajaran terdalam saya selama sepuluh tahun terakhir adalah: banyak “konsensus yang semua orang tahu” ternyata adalah efek gerombolan yang menyamar sebagai kedewasaan. Anda pernah melihat konsensus beberapa kali dibalik dalam semalam, lalu orang berkata, “Tidak, kita bertaruh di sini.” Mungkin tidak selalu benar, tapi abaikan kebisingan lalu bertaruh. Bahkan kalau Anda hanya benar 50%, Anda tetap akan memberi kontribusi yang sangat besar dibanding yang lain tidak memberi kontribusi apa pun.

Perubahan sikap publik terhadap kecerdasan buatan

Jared Kaplan:

Di beberapa isu keamanan hari ini pun begitulah. Konsensus dari luar mengatakan banyak masalah keamanan yang ‘tidak natural’ akan tidak muncul begitu saja dari teknologi, tetapi ketika kami melakukan riset di Anthropic, kami melihat itu memang muncul secara alamiah.

Daniela Amodei:

Namun dalam 18 bulan terakhir ini semuanya berubah. Pada saat yang sama, emosi dunia terhadap AI juga jelas berubah. Saat kami melakukan riset pengguna, kami lebih sering mendengar pengguna biasa khawatir tentang dampak AI terhadap keseluruhan dunia.

Kadang itu soal pekerjaan, bias, atau toksisitas; kadang soal “apakah ia akan mengacaukan dunia, mengubah cara manusia berkolaborasi.” Dan ini sebenarnya juga tidak sepenuhnya kami perkirakan sebelumnya.

am McCandlish:

Entah kenapa, lingkaran riset ML cenderung lebih pesimis daripada publik soal “AI jadi makin kuat”.

Jared Kaplan:

Pada 2023, saya dan Dario pergi ke Gedung Putih. Dalam rapat itu, Harris dan Raimondo intinya mengatakan: “Kami mengawasi kalian. AI adalah hal besar. Kami benar-benar memperhatikannya.” Tapi pada 2018 Anda tidak akan membayangkan, “presiden akan memanggil Anda ke Gedung Putih untuk mengatakan bahwa mereka sedang memperhatikan model bahasa.”

Tom Brown:

Yang menarik adalah, banyak orang di tim kami masuk ke isu ini ketika masih belum yakin. Mirip seperti Fermi pada bom atom: ada beberapa bukti bahwa bom atom mungkin dibuat, tapi juga banyak bukti bahwa itu tidak akan dibuat—dan pada akhirnya ia memutuskan untuk mencobanya. Karena kalau memang benar, dampaknya akan sangat besar, jadi layak dilakukan.

Ada bukti-bukti yang terus meningkat dari 2015 sampai 2017 bahwa AI mungkin jadi hal besar. Saya pada 2016 berbincang dengan mentor: saya pernah berwirausaha, ingin membuat AI safety, tapi kekuatan matematik saya kurang—tidak tahu harus bagaimana. Waktu itu ada yang bilang Anda harus menguasai decision theory; ada yang bilang kejadian AI yang gila tidak akan terjadi, dan pendukungnya sangat sedikit.

Jack Clark:

Saya pada 2014 membuat laporan tren ImageNet, dan orang menganggap saya gila. Pada 2015, saya ingin menulis tentang NVIDIA karena paper mereka dan GPU-nya, saya juga dianggap gila. Pada 2016 saya keluar dari dunia berita untuk masuk ke AI, dan ada email yang bilang, “Anda melakukan kesalahan terbesar dalam hidup.” Dari banyak sudut pandang, bertaruh serius pada “penskalaan akan terjadi” memang terlihat seperti orang gila.

Jared Kaplan: Kamu memutuskan bagaimana? Bimbang?

Jack Clark:

Saya mengambil taruhan terbalik: meminta jadi reporter AI penuh waktu dengan gaji digandakan, dan saya tahu mereka tidak akan menyetujui. Lalu saya tidur, bangun, dan mengundurkan diri. Karena saya setiap hari membaca dokumen arsip, saya selalu merasa ada sesuatu yang gila besar sedang terjadi; di titik tertentu, Anda harus bertaruh dengan keyakinan tinggi.

Tom Brown:

Saya tidak secepat itu; saya goyah selama enam bulan.

Daniela Amodei:

Dan saat itu, gagasan bahwa “engineer bisa secara signifikan mendorong AI” belum menjadi arus utama. Pada saat itu, anggapannya adalah “hanya peneliti yang bisa membuat AI”, jadi ragu itu tidak aneh.

Tom Brown:

Belakangan, OpenAI berkata, “Anda bisa membantu AI safety melalui rekayasa”—dan itu yang membuat saya bergabung. Daniela, kamu masih manajer saya di OpenAI. Kenapa waktu itu kamu bergabung?

Daniela Amodei:

Saya bekerja di Stripe selama lima setengah tahun. Greg dulu adalah bos saya. Saya juga mempertemukan Greg dengan Dario. Waktu itu Greg sedang merintis OpenAI, dan saya bilang padanya, “Orang paling pintar yang saya kenal adalah Dario. Kalau Anda bisa membawanya masuk tim, itu keberuntungan Anda.” Lalu Dario akhirnya bergabung dengan OpenAI.

Mungkin seperti Anda, saya juga memikirkan setelah meninggalkan Stripe, saya ingin melakukan apa. Saya bergabung ke Stripe karena sebelumnya saya bekerja di organisasi nirlaba dan bidang pembangunan internasional, dan saya merasa saya butuh keterampilan lebih; waktu itu saya bahkan mengira saya akhirnya akan kembali ke bidang itu.

Sebelum bergabung dengan Stripe, saya merasa saya tidak punya kemampuan yang cukup untuk membantu orang-orang yang kondisi mereka lebih sulit daripada saya. Jadi saya memantau perusahaan teknologi lain, berharap menemukan cara baru untuk memberikan dampak yang lebih besar. Dan pada saat itu, OpenAI terasa seperti pilihan yang sangat bagus. OpenAI adalah organisasi nirlaba yang berkomitmen untuk mencapai tujuan yang sangat penting dan bermakna besar.

Saya selalu percaya pada potensi AI. Karena saya tahu sedikit tentang Dario, dan mereka memang membutuhkan orang untuk membantu mengelola. Jadi menurut saya pekerjaan ini sangat cocok dengan latar belakang saya. Waktu itu saya berpikir, “Ini organisasi nirlaba; di sini berkumpul sekelompok orang yang sangat hebat, dengan visi yang baik—tapi cara operasinya tampaknya masih agak kacau.” Dan justru tantangan semacam itulah yang membuat saya bersemangat, karena saya bisa bergabung ke dalamnya.

Waktu itu saya merasa seperti pemain serba bisa: tidak hanya mengelola anggota tim, tetapi juga memimpin beberapa tim teknis, serta mengelola ekspansi organisasi. Saya mengurus pekerjaan ekspansi organisasi, dan pernah bekerja juga di tim bahasa, kemudian mengambil beberapa tugas lain. Saya juga ikut menangani beberapa urusan terkait kebijakan, dan bekerja sama dengan Chris. Saya merasa ada banyak talenta hebat di perusahaan, dan itu membuat saya sangat ingin bergabung, membantu perusahaan menjadi lebih efisien dan lebih teratur.

Jack Clark: Saya ingat setelah selesai GPT-3, Anda bilang, “Kalian pernah dengar trust and safety?”

Daniela Amodei:

Saya dulu memimpin tim trust and safety di Stripe. Untuk teknologi seperti ini, kalian mungkin perlu memikirkan isu trust and safety. Ini sebenarnya adalah jembatan antara penelitian keamanan kecerdasan buatan (AI Safety Research) dan pekerjaan harian yang lebih praktis—yakni bagaimana membuat model benar-benar aman.

Menyampaikan bahwa “teknologi ini di masa depan akan berdampak besar” sangat penting. Pada saat yang sama, kita juga perlu menjalankan pekerjaan yang lebih praktis dalam keseharian, untuk membangun fondasi saat nantinya menghadapi skenario dengan risiko yang lebih tinggi.

Kebijakan Ekspansi yang Bertanggung Jawab: Memastikan perkembangan AI yang aman

Jack Clark: Ini pas untuk membahas bagaimana strategi ekspansi yang bertanggung jawab (RSP, Responsible Scaling Policy) diajukan, kenapa kita memikirkan hal itu, dan bagaimana kita menerapkannya sekarang—terutama mengingat pekerjaan yang saat ini kita lakukan di trust and safety model. Jadi, siapa yang pertama kali mengusulkan RSP (Responsible Scaling Policy yang bertanggung jawab)?

Dario Amodei:

Awalnya ide itu saya dan Paul Christiano yang memunculkan, sekitar akhir 2022. Gagasan awalnya adalah: apakah kita harus menahan ekspansi model untuk sementara sampai ia mencapai ukuran tertentu, sampai kita menemukan cara untuk menyelesaikan beberapa masalah keamanan?

Tapi kemudian kami merasa menahan ekspansi hanya pada titik tertentu lalu melepaskannya lagi itu agak aneh. Jadi kami memutuskan membuat serangkaian ambang batas; setiap kali model mencapai satu ambang batas, harus dilakukan serangkaian pengujian untuk menilai apakah model memiliki kemampuan keamanan yang sesuai.

Setiap kali mencapai ambang batas, kami perlu menerapkan langkah-langkah keamanan dan jaminan yang semakin ketat. Namun pada awalnya kami juga punya satu ide: jika ini dijalankan oleh pihak ketiga, mungkin lebih baik. Dengan kata lain, strategi semacam ini tidak seharusnya menjadi tanggung jawab tunggal satu perusahaan, karena perusahaan lain mungkin tidak mau mengadopsinya. Jadi Paul merancang strategi itu secara langsung. Tentu saja, seiring waktu banyak detailnya juga berubah. Tim kami terus meneliti bagaimana membuat strategi itu bekerja lebih baik.

Ketika Paul akhirnya menyusun konsepnya menjadi bentuk yang jelas, hampir bersamaan dengan pengumuman konsep tersebut, kami juga merilis versi kami sendiri dalam waktu satu sampai dua bulan. Faktanya, banyak anggota tim kami terlibat secara mendalam dalam proses itu. Saya ingat saya setidaknya menulis salah satu draf awal, tapi dokumen ini mengalami beberapa kali revisi besar.

Tom Brown:

Bagi Anthropic, RSP itu seperti “konstitusi” kami. Ini adalah dokumen inti yang bersifat membimbing, jadi kami bersedia menginvestasikan banyak waktu dan energi untuk mengasahnya berulang kali, demi memastikan akurasi dan kesempurnaannya.

Daniela Amodei:

Saya rasa, perkembangan RSP di Anthropic sangat menarik. Ia melewati beberapa tahap, dan untuk menerapkannya juga dibutuhkan beragam keterampilan. Misalnya, ada beberapa gagasan besar, yang terutama ditangani oleh Dario, Paul, Sam, dan Jared. Mereka memikirkan: “Apa prinsip inti kami? Pesan apa yang ingin kami sampaikan? Bagaimana memastikan arah kami benar?”

Tapi selain itu, ada juga kerja yang sangat nyata di lapisan operasional: saat iterasi berlangsung, kami menilai dan menyetel ulang detail. Misalnya, kami semula memperkirakan pada tingkat keamanan tertentu akan mencapai beberapa target, tapi jika tidak terpenuhi, kami menilai ulang dan memastikan kami bisa bertanggung jawab atas hasil kerja kami.

Selain itu, ada banyak penyesuaian terkait struktur organisasi. Misalnya, kami memutuskan mendesain ulang struktur organisasi RSP agar pembagian tanggung jawab menjadi lebih jelas. Saya suka memakai analogi konstitusi untuk dokumen ini. Seperti Amerika Serikat untuk memastikan konstitusi dijalankan: mereka membangun sistem kelembagaan dan institusi seperti pengadilan, mahkamah agung, presiden, serta parlemen dua kamar. Walau institusi itu juga menjalankan tugas lain, keberadaannya pada dasarnya sangat besar untuk menjaga konstitusi. Dan RSP Anthropic juga mengalami proses yang mirip.

Sam McCandlish:

Saya pikir ini mencerminkan pandangan inti kami tentang keamanan: masalah keamanan itu bisa diselesaikan. Ini adalah tugas yang sangat kompleks dan berat, membutuhkan banyak waktu dan energi.

Seperti bidang keselamatan mobil: sistem dan institusi yang relevan baru terbentuk setelah bertahun-tahun berkembang. Tapi masalah yang kami hadapi adalah: apakah kami punya cukup waktu untuk menyelesaikan semuanya? Jadi kami harus secepat mungkin menemukan institusi-institusi kunci yang dibutuhkan untuk keamanan AI, lalu membangunnya lebih dulu di tempat kami, sekaligus memastikan institusi itu bisa dipinjam dan diterapkan di tempat lain.

Dario Amodei:

Ini juga membantu keselarasan kolaborasi di dalam organisasi. Karena jika ada bagian dalam organisasi yang perilakunya tidak sesuai dengan nilai keamanan kami, RSP akan, dengan cara tertentu, membuat masalah itu terlihat, kan? RSP akan menghentikan mereka untuk terus menjalankan rencana yang tidak sesuai standar keamanan. Jadi RSP juga menjadi alat yang terus mengingatkan semua orang, memastikan keamanan menjadi kebutuhan dasar dalam proses pengembangan produk dan perencanaan. Kami tidak sedang mengobral slogan. Kami benar-benar mengintegrasikan keamanan ke setiap tahap. Jika seseorang bergabung tapi tidak bisa menyetujui prinsip-prinsip ini, mereka akan merasa tidak bisa masuk ke dalamnya. Entah mereka menyesuaikan arah ini, atau mereka mendapati sulit untuk terus bertahan.

Jack Clark:

Seiring waktu, RSP menjadi semakin penting. Kami menghabiskan ribuan jam untuk itu. Saat saya menjelaskan RSP kepada para senator, saya berkata, “Kami membuat serangkaian langkah untuk memastikan teknologi kami tidak mudah disalahgunakan, sekaligus memastikan keamanan.” Respons mereka biasanya, “Kedengarannya normal. Bukankah setiap perusahaan melakukan itu?” Ini membuat saya agak lucu sekaligus miris, padahal tidak semua perusahaan melakukan hal yang sama.

Daniela Amodei:

Selain menyelaraskan nilai-nilai tim, saya juga merasa RSP meningkatkan transparansi perusahaan. Karena ia mencatat dengan jelas apa tujuan kami. Di dalam perusahaan, semua orang memahami; sementara pihak luar juga bisa memahami dengan jelas apa tujuan dan arah kami dalam keamanan. Walau belum sempurna, kami terus menyempurnakannya dan terus membaik.

Saya pikir ketika kita menyatakan dengan jelas, “apa masalah inti yang kami perhatikan,” kita tidak boleh asal memakai kata “keamanan” untuk mengendalikan kemajuan kerja, misalnya “karena isu keamanan, kita tidak bisa melakukan hal itu” atau “karena isu keamanan, kita harus melakukan hal itu.” Target sebenarnya kami adalah membuat semua orang memahami keamanan yang kami maksud itu apa.

Dario Amodei:

Dalam jangka panjang, yang biasanya paling merusak keamanan adalah “latihan keamanan” yang sering dilakukan. Saya pernah bilang, “Jika ada sebuah gedung yang setiap minggu berbunyi alarm kebakaran, maka itu sebenarnya gedung yang sangat tidak aman.” Karena saat kebakaran benar-benar terjadi, mungkin tidak ada yang peduli. Jadi kita harus sangat menekankan akurasi dan kalibrasi alarm.

Chris Olah:

Dilihat dari sudut pandang lain, saya merasa RSP menciptakan mekanisme insentif yang sehat di banyak level. Misalnya, di dalam perusahaan, RSP menyelaraskan insentif setiap tim dengan tujuan keamanan; artinya jika kita tidak membuat cukup kemajuan dalam keamanan, pekerjaan terkait bisa dihentikan.

Di luar perusahaan pun, RSP menciptakan insentif yang lebih sehat dibanding metode lain. Misalnya, jika suatu hari kami harus mengambil tindakan besar, seperti mengakui “model kami sudah berkembang ke tahap tertentu, tapi kami belum bisa memastikan keamanannya,” maka RSP menyediakan kerangka kerja yang jelas dan bukti untuk mendukung keputusan itu. Kerangka tersebut sudah ada sejak awal, dan jelas serta mudah dipahami. Saat kami membahas versi awal RSP, saya tidak sepenuhnya menyadari potensinya. Tapi sekarang saya pikir ia memang lebih efektif dibanding metode lain yang bisa saya bayangkan.

Jared Kaplan:

Saya setuju dengan pandangan-pandangan itu, tapi saya juga merasa hal ini mungkin meremehkan tantangan yang kami hadapi dalam menyusun kebijakan yang benar, menilai standar, dan menetapkan batas. Kami sudah banyak iterasi di bidang-bidang itu, dan masih terus menyempurnakannya. Tantangan sulitnya adalah: untuk beberapa teknologi yang baru muncul, kadang sulit untuk menentukan apakah sesuatu itu berbahaya atau aman. Banyak dari waktu, kami menghadapi wilayah abu-abu yang sangat besar. Tantangan-tantangan ini membuat saya begitu bersemangat pada awal pengembangan RSP, dan saya masih merasakannya sampai sekarang. Tapi sekaligus, saya juga sadar bahwa menerapkan strategi ini dengan jelas dan benar-benar membuatnya berjalan, ternyata lebih kompleks dan lebih menantang daripada yang saya bayangkan sebelumnya.

Sam McCandlish:

Wilayah abu-abu tidak bisa diprediksi sepenuhnya, karena ia ada di mana-mana. Anda baru benar-benar menemui masalahnya saat mulai menerapkannya. Jadi tujuan kami adalah menerapkan semuanya secepat mungkin supaya kami bisa sedini mungkin menemukan potensi problem.

Dario Amodei:

Anda harus iterasi tiga sampai empat kali agar benar-benar sempurna. Iterasi adalah alat yang sangat kuat; hampir mustahil untuk langsung benar dari pertama kali. Jadi jika risikonya terus meningkat, Anda perlu melakukan iterasi secepat mungkin—bukan menunggu sampai akhir.

Jack Clark:

Sementara itu, Anda juga perlu membangun institusi dan proses internal. Walau detailnya bisa berubah seiring waktu, membangun kemampuan eksekusi timlah yang paling penting.

Tom Brown:

Saya menangani manajemen sumber daya komputasi di Anthropic. Bagi saya, kami perlu berkomunikasi dengan pemangku kepentingan eksternal; berbagai pihak eksternal punya pandangan berbeda soal seberapa cepat teknologi akan berkembang. Di awal saya juga berpikir teknologinya tidak akan berkembang begitu cepat, tapi pandangan saya berubah—dan saya sangat bisa memahami itu. Saya rasa RSP sangat berguna bagi saya, terutama saat berbicara dengan orang-orang yang menganggap perkembangan teknologi akan relatif lambat. Kami bisa bilang kepada mereka, “Sebelum teknologi berkembang sampai tingkat yang sangat mendesak, kita tidak perlu mengambil langkah keamanan ekstrem.” Jika mereka berkata, “Saya kira ini tidak akan menjadi mendesak dalam waktu lama,” saya bisa menanggapi, “Baik, jadi untuk sementara kita tidak perlu langkah keamanan ekstrem.” Ini membuat komunikasi dengan pihak luar jadi lebih lancar.

Jack Clark:

Jadi, dalam hal apa lagi RSP memengaruhi semua orang?

Sam McCandlish:

Semuanya berkisar pada evaluasi. Setiap tim melakukan evaluasi. Misalnya, tim pelatihan terus melakukan evaluasi. Kami berusaha menentukan apakah model sudah menjadi cukup kuat sehingga berpotensi menimbulkan bahaya.

Daniela Amodei:

Ini berarti kami perlu mengukur performa model berdasarkan standar RSP, termasuk mengecek apakah ada tanda-tanda yang mungkin membuat kami khawatir.

Sam McCandlish:

Menilai kemampuan minimum model relatif lebih mudah, tapi menilai kemampuan maksimum model sangat sulit. Karena itu kami menginvestasikan banyak tenaga riset untuk menjawab pertanyaan seperti: “Apakah model mampu melakukan tugas-tugas berbahaya tertentu? Apakah ada cara-cara yang belum kami pertimbangkan—misalnya melalui peta pikiran (mind maps), best event, atau penggunaan beberapa tools—yang dapat membuat model mengeksekusi perilaku yang sangat berbahaya?”

Jack Clark:

Dalam proses penyusunan kebijakan, alat evaluasi ini sangat membantu. Karena “keamanan” itu konsep yang sangat abstrak. Saat saya bilang, “Kami punya alat evaluasi yang menentukan apakah kami boleh melakukan deploy model ini,” maka kami bisa bekerja sama dengan pembuat kebijakan, para ahli keamanan nasional, serta para pakar CBRN (kimia, biologi, radiologi, dan nuklir) untuk menyusun standar evaluasi yang presisi. Tanpa alat-alat spesifik itu, kerja sama seperti itu mungkin tidak akan bisa terjadi sama sekali. Tapi setelah ada standar yang jelas, orang akan lebih mau terlibat membantu memastikan akurasinya. Jadi dalam aspek ini, peran RSP sangat menonjol.

Daniela Amodei:

Bagi saya, RSP juga sangat penting, dan sering memengaruhi pekerjaan saya. Yang menarik adalah cara saya memikirkan RSP agak unik—lebih berangkat dari “nada/voice”-nya, yakni cara dokumen itu menyampaikan sesuatu. Belakangan ini kami banyak mengubah nada RSP, karena sebelumnya nadanya terlalu teknis, bahkan terasa berseberangan. Saya menghabiskan banyak waktu memikirkan bagaimana menyusun sebuah sistem yang membuat orang mau terlibat di dalamnya.

Jika RSP adalah dokumen yang bisa dengan mudah dipahami oleh semua orang di perusahaan, itu akan jauh lebih baik. Seperti OKR (Objectives and Key Results) yang kita pakai sekarang. Misalnya, apa tujuan utama RSP? Bagaimana kita tahu apakah targetnya sudah tercapai? Berapa level keamanan AI saat ini (ASL)? Apakah ASL-2 atau ASL-3? Jika semua orang tahu fokus apa yang harus diperhatikan, maka menemukan potensi masalah akan menjadi lebih mudah. Sebaliknya, jika RSP terlalu teknis sehingga hanya segelintir orang yang paham, nilai gunanya akan turun drastis.

Saya senang melihat RSP sedang bergerak ke arah yang lebih mudah dipahami. Sekarang, menurut saya kebanyakan orang di perusahaan, bahkan mungkin semua orang tanpa memandang jabatan, bisa membaca dokumen ini dan berpikir, “Ini masuk akal. Saya berharap kami mengembangkan AI di bawah panduan prinsip-prinsip ini, dan saya paham mengapa kita perlu fokus pada hal-hal ini. Jika saya menemui masalah dalam pekerjaan saya, saya kira saya cukup tahu apa yang harus saya waspadai.” Kami ingin RSP cukup sederhana, seperti orang yang bekerja di pabrik manufaktur yang bisa dengan mudah menilai, “sabuk pengaman harus terpasang di sini, tapi sekarang belum terpasang.” Dengan begitu, masalah bisa ditemukan lebih cepat.

Kuncinya adalah membangun mekanisme umpan balik yang sehat, supaya bisa ada komunikasi yang lancar antara pimpinan tingkat atas, dewan direksi, departemen lain di perusahaan, dan tim yang benar-benar mengerjakan riset dan pengembangan. Saya berpendapat, sebagian besar masalah muncul karena komunikasi yang tidak lancar atau terjadi bias dalam penyampaian informasi. Jika masalah hanya muncul karena alasan seperti itu, itu akan sangat disayangkan, kan? Pada akhirnya, yang perlu kita lakukan adalah menerapkan ide-ide ini dengan nyata, sekaligus memastikan semuanya sederhana dan jelas, agar mudah dipahami semua orang.

Kisah pendirian Anthropic

Sam McCandlish:

Sebenarnya tidak ada di antara kami yang sejak awal punya niat mendirikan perusahaan. Kami hanya merasa ini tanggung jawab kami, kami harus mengambil tindakan, karena ini satu-satunya cara untuk memastikan perkembangan AI maju ke arah yang benar. Dan inilah alasan mengapa kami berani membuat komitmen itu.

Dario Amodei:

Ide saya awalnya sederhana: saya hanya ingin menemukan dan mengeksplorasi hal-hal baru dengan cara yang bermanfaat. Gagasan itu membawa saya ke bidang AI; sementara riset AI membutuhkan dukungan rekayasa yang besar, dan pada akhirnya juga membutuhkan dukungan pendanaan yang besar.

Namun saya menyadari jika tidak ada tujuan dan rencana yang jelas untuk mendirikan perusahaan dan mengelola lingkungan, banyak hal bisa dilakukan tetapi mengulang kesalahan-kesalahan yang sama dari industri teknologi yang membuat saya merasa terasing. Kesalahan-kesalahan ini biasanya berasal dari orang yang sama, sikap yang sama, dan pola pikir yang sama. Jadi pada suatu titik, saya sadar bahwa kita harus melakukan ini dengan cara yang benar-benar baru—dan itu hampir tidak terelakkan.

Jared Kaplan:

Ingat ketika kita masih di sekolah pascasarjana? Kamu punya rencana lengkap untuk mengeksplorasi bagaimana riset ilmiah bisa mempromosikan kepentingan publik. Saya merasa ini mirip sekali dengan cara pikir yang kita jalani sekarang. Saya ingat kamu punya proyek bernama “Project Vannevar” yang tujuannya adalah mewujudkan itu. Saat itu saya seorang profesor, saya mengamati keadaan yang ada, dan saya sangat percaya bahwa dampak AI sedang tumbuh dengan kecepatan yang sangat cepat.

Namun karena riset AI membutuhkan pendanaan yang tinggi, dan sebagai profesor fisika, saya sadar saya tidak bisa mendorong kemajuan ini sendirian lewat riset akademik. Saya ingin membangun sebuah institusi bersama orang-orang yang dapat dipercaya, untuk memastikan perkembangan AI berjalan ke arah yang benar. Tapi jujur saja, saya tidak pernah menyarankan orang lain mendirikan perusahaan, dan saya sendiri juga tidak pernah punya keinginan seperti itu. Bagi saya, itu hanya sebuah cara untuk mencapai tujuan. Saya pikir biasanya, kunci keberhasilan adalah benar-benar peduli mewujudkan tujuan yang bermakna bagi dunia, lalu mencari cara terbaik untuk mencapai tujuan itu.

Cara membangun budaya kepercayaan

Daniela Amodei:

Saya sering memikirkan keunggulan strategi tim kami. Ada satu faktor yang mungkin terdengar agak mengejutkan, tetapi sangat penting: kepercayaan yang tinggi di antara kami. Sangat sulit membuat banyak orang memiliki misi yang sama. Tapi di Anthropic, kami berhasil menyalurkan rasa misi itu kepada semakin banyak orang. Di tim ini, termasuk pimpinan dan semua anggota, semua berkumpul karena misi yang sama. Misi kami jelas dan murni, dan situasi seperti ini tidak umum di industri teknologi.

Saya merasa tujuan yang sedang kami perjuangkan memiliki makna yang sangat murni. Tidak ada di antara kami yang memulai ini karena ingin mendirikan perusahaan. Kami hanya merasa kami harus melakukannya. Kami tidak bisa melanjutkan pekerjaan kami di tempat sebelumnya; kami harus melakukannya sendiri.

Jack Clark:

Saat itu, dengan hadirnya GPT-3, dan ketika semua orang sudah terpapar atau terlibat dalam proyek-proyek yang kita semua tahu—seperti scaling laws—di tahun 2020 kami sudah jelas melihat arah perkembangan AI. Kami sadar jika tidak segera mengambil tindakan, kami mungkin akan segera mencapai titik ambang yang tidak bisa dibalik. Kami harus mengambil tindakan supaya bisa memengaruhi lingkungan ini.

Tom Brown:

Saya ingin melanjutkan pandangan Daniela. Saya benar-benar percaya bahwa ada kepercayaan yang tinggi di dalam tim. Setiap dari kami jelas tahu kami bergabung karena ingin berkontribusi untuk dunia. Kami juga bersama-sama berkomitmen menyumbang 80% dari pendapatan untuk inisiatif yang mendorong perkembangan masyarakat—ini adalah sesuatu yang didukung semua orang tanpa ragu: “Ya, tentu saja kami akan melakukannya.” Kepercayaan seperti ini sangat istimewa dan langka.

Daniela Amodei:

Saya rasa Anthropic adalah perusahaan dengan warna politik yang sangat minim. Tentu saja, sudut pandang kami mungkin berbeda dari orang pada umumnya, dan saya selalu mengingatkan diri sendiri untuk hal itu. Saya pikir proses rekrutmen kami dan karakter orang-orang yang ada di tim membuat budaya di sini memiliki semacam penolakan alami terhadap “politik kantor”.

Dario Amodei:

Lalu juga ada rasa solid yang kuat dari tim. Soliditas tim itu sangat penting. Baik itu tim produk, tim riset, tim trust and safety, tim pemasaran, maupun tim kebijakan—semua orang bekerja untuk mencapai tujuan perusahaan yang sama. Jika di dalam perusahaan departemen yang berbeda mengejar target yang benar-benar tidak sama, biasanya itu akan menimbulkan kekacauan. Dan jika departemen lain dianggap sedang mengganggu pekerjaan departemen lain, itu jelas bukan hal yang normal.

Saya pikir salah satu pencapaian terpenting kami adalah berhasil menjaga keselarasan menyeluruh perusahaan. Mekanisme seperti RSP memainkan peran besar di dalamnya. Mekanisme itu memastikan bukan sebagian departemen yang menciptakan masalah sementara departemen lain berusaha memperbaikinya. Melainkan semua departemen menjalankan fungsi masing-masing, bekerja bersama dalam kerangka teori perubahan (theory of change) yang sama.

Chris Olah:

Saya pertama kali bergabung dengan OpenAI karena ia organisasi nirlaba; saya bisa fokus pada riset keamanan AI di sana. Tapi seiring waktu, saya sadar pola itu tidak sepenuhnya cocok untuk saya, dan itu memaksa saya mengambil beberapa keputusan yang sulit. Dalam proses itu, saya sangat percaya pada penilaian Dario dan Daniela, tapi saya juga tidak ingin pergi. Karena saya percaya menambah lebih banyak laboratorium AI belum tentu baik bagi dunia. Jadi saya jadi ragu untuk keluar.

Ketika akhirnya kami memutuskan untuk pergi, saya masih ragu soal mendirikan perusahaan sendiri. Saya pernah berpendapat bahwa kami harus membentuk organisasi nirlaba yang fokus pada riset keamanan. Namun pada akhirnya sikap yang lebih pragmatis dan sikap jujur pada batasan dunia nyata membuat kami menyadari bahwa mendirikan Anthropic adalah cara terbaik untuk mewujudkan tujuan kami.

Dario Amodei:

Salah satu pelajaran penting yang kami dapat di tahap awal adalah: sedikit berjanji, banyak membuktikan. Tetap realistis, hadapi trade-off secara langsung—karena kepercayaan dan reputasi lebih penting daripada kebijakan spesifik mana pun.

Daniela Amodei:

Keunikan Anthropic adalah kepercayaan dan kesatuan tim yang tinggi. Misalnya, ketika saya melihat Mike Krieger bersikeras untuk tidak merilis produk tertentu karena alasan keamanan, sementara di saat yang sama saya melihat Vinay berdiskusi tentang cara menyeimbangkan kebutuhan bisnis agar proyek bisa selesai, saya merasa sangat spesial. Selain itu, engineer dari tim teknis keselamatan dan tim inferensi juga berdiskusi bagaimana memastikan produk aman sekaligus tetap berguna. Kesatuan tujuan dan sikap pragmatis seperti itu adalah salah satu hal yang paling menarik dari lingkungan kerja Anthropic.

Dario Amodei:

Budaya organisasi yang sehat adalah ketika semua orang bisa memahami dan menerima trade-off yang sama. Dunia tempat kita hidup tidak sempurna; setiap keputusan perlu mencari keseimbangan di antara kepentingan yang berbeda, dan keseimbangan itu sering kali tidak bisa memuaskan semua pihak. Namun selama seluruh tim bisa menghadapi trade-off itu bersama-sama di bawah tujuan yang sama, dan masing-masing berkontribusi untuk tujuan keseluruhan dari posisi mereka, barulah itu membentuk ekosistem yang sehat.

Sam McCandlish:

Dalam arti tertentu, ini adalah “perlombaan ke atas”. Ya, ini memang perlombaan ke atas. Walau ini bukan pilihan tanpa risiko—bisa saja sesuatu salah—kami semua sepakat: “Ini adalah pilihan yang kami buat.”

Mengejar puncak AI

Jack Clark:

Tapi pasar secara dasarnya bersifat pragmatis. Jadi, semakin Anthropic berhasil sebagai perusahaan, semakin orang lain terdorong meniru cara-cara yang membuat kami sukses. Dan saat keberhasilan kami terkait erat dengan pekerjaan nyata kami di bidang keamanan, keberhasilan itu akan menciptakan semacam “gaya tarik” di industri, mendorong perusahaan lain ikut dalam persaingan ini. Seperti ketika kami mengembangkan sabuk pengaman, perusahaan lain juga bisa menirunya—itu ekosistem yang sehat.

Dario Amodei:

Tapi jika Anda bilang, “Kami tidak akan mengembangkan teknologi ini, dan Anda juga tidak bisa melakukan lebih baik dari yang lain,” cara itu tidak akan berhasil. Anda belum membuktikan bahwa jalur dari kondisi saat ini menuju masa depan itu feasible. Yang dibutuhkan dunia adalah: baik industri secara keseluruhan atau sebuah perusahaan tertentu, harus menemukan cara agar masyarakat bisa beralih dari “teknologi tidak ada” ke “teknologi ada dalam bentuk yang kuat, dan masyarakat dapat mengelolanya secara efektif.” Saya pikir satu-satunya cara untuk mencapai tujuan itu adalah di level perusahaan—bahkan pada akhirnya di level industri—berani menghadapi trade-off tersebut.

Anda perlu menemukan cara yang bisa menjaga daya saing, bahkan memimpin industri di beberapa bidang, sekaligus memastikan keamanan teknologinya. Jika Anda bisa melakukannya, daya tarik terhadap industri akan sangat kuat. Dari lingkungan regulasi sampai harapan untuk merekrut talenta hebat dari berbagai perusahaan, bahkan sampai cara pandang klien—semua faktor itu akan mendorong industri bergerak ke arah yang sama. Jika Anda bisa membuktikan bahwa keamanan dapat dicapai tanpa mengorbankan daya saing—yakni menemukan solusi yang saling menguntungkan (win-win)—maka perusahaan lain juga akan termotivasi meniru.

Jared Kaplan:

Saya pikir inilah alasan mengapa mekanisme seperti RSP begitu penting. Dengan mekanisme seperti itu, kita bisa melihat jelas arah perkembangan teknologi, menyadari kita harus sangat waspada terhadap beberapa masalah, tetapi juga menghindari kesalahan peringatan “serigala datang” (alarm palsu), sehingga tidak sekadar berkata, “inovasi harus berhenti di sini.” Kita perlu mencari cara agar teknologi AI bisa memberi klien pengalaman yang berguna, inovatif, dan menyenangkan, sambil secara tegas menetapkan batasan yang harus dipatuhi—batasan yang memastikan keamanan sistem, sekaligus membuat perusahaan lain percaya bahwa mereka juga bisa berhasil di bawah syarat keamanan dan bersaing dengan kami.

Dario Amodei:

Beberapa bulan setelah kami meluncurkan RSP, tiga perusahaan AI paling terkenal juga segera mengeluarkan mekanisme serupa. Riset interpretabilitas adalah bidang terobosan lain kami. Selain itu, kami juga berkolaborasi dengan institusi riset keamanan AI. Perhatian menyeluruh terhadap keamanan ini sedang memberikan dampak yang luas.

Jack Clark:

Ya, Frontier Red Team hampir langsung ditiru oleh perusahaan lain. Ini hal yang baik. Kami berharap semua lab melakukan pengujian terhadap potensi celah keamanan berisiko tinggi.

Daniela Amodei:

Seperti yang Jack sebutkan sebelumnya, klien juga sangat peduli pada keamanan. Klien tidak ingin model menghasilkan informasi palsu, dan mereka tidak ingin model mudah diakali melewati batas keamanan. Mereka ingin model yang berguna dan tidak membahayakan. Dalam komunikasi dengan klien, kami sering mendengar mereka berkata, “Kami memilih Claude karena kami tahu itu lebih aman.” Saya pikir ini dampaknya besar bagi pasar. Kami bisa menyediakan model yang bisa dipercaya dan andal, dan itu juga memberi tekanan pasar yang cukup besar bagi pesaing.

Chris Olah:

Mungkin kita bisa memperluas pandangan Dario tadi. Ada sebuah ungkapan bahwa tindakan paling bermoral adalah “kegagalan yang mulia”. Maksudnya, Anda harus mengorbankan tujuan lain demi keamanan—bahkan bertindak dengan cara yang tidak realistis—untuk menunjukkan kemurnian niat Anda terhadap karier. Tapi saya pikir cara itu sebenarnya self-defeating.

Pertama, cara itu membuat kendali keputusan jatuh ke tangan orang-orang yang tidak peduli pada keamanan dan tidak mengutamakan keamanan. Sebaliknya, jika Anda berusaha mencari cara untuk menyelaraskan mekanisme insentif, menaruh keputusan-keputusan sulit pada tempat yang paling kuat untuk mendukung keputusan yang benar, dan mendasarkan hal itu pada bukti yang paling kuat, maka Anda bisa memicu “perlombaan ke atas” yang dijelaskan Dario. Dalam perlombaan ini, bukan orang yang peduli keamanan yang termarginalkan—melainkan orang lain dipaksa mengikuti langkah Anda, ikut masuk ke perlombaan itu.

Melihat masa depan kecerdasan buatan

Jack Clark: Jadi untuk langkah berikutnya, apa yang membuat kalian semua merasa bersemangat?

Chris Olah:

Saya merasa ada banyak alasan untuk menjadi bersemangat tentang interpretabilitas. Salah satunya jelas karena pertimbangan keamanan. Tapi ada alasan lain yang menurut saya juga membuat saya merasa bergairah secara emosional—dan hal ini terasa sangat bermakna: saya percaya jaringan saraf itu sangat menakjubkan, dan di dalamnya terdapat banyak hal yang belum kita lihat. Selama ini kita sering memperlakukan jaringan saraf seperti black box dan tidak terlalu tertarik dengan struktur internalnya. Tapi ketika Anda mulai menyelidiki lebih dalam, Anda akan menemukan bahwa di dalamnya penuh struktur yang menakjubkan.

Ini agak seperti cara orang melihat biologi: ada orang yang mungkin menganggap “evolusi itu membosankan—itu hanya proses sederhana, berjalan lama, lalu menciptakan hewan.” Tapi sebenarnya, setiap hewan yang diciptakan evolusi penuh dengan kompleksitas dan struktur yang luar biasa sulit dipercaya. Dan saya pikir, evolusi adalah proses optimisasi—mirip seperti melatih jaringan saraf. Di dalam jaringan saraf juga ada kompleksitas struktur yang semacam “bio-buatan”. Jika Anda mau menyelidikinya, Anda akan menemukan banyak hal yang luar biasa.

Saya rasa, kita baru mulai membuka selubungnya. Ini begitu menakjubkan; ada terlalu banyak hal yang menunggu untuk kita temukan. Kita baru mulai membuka gerbangnya, dan saya merasa penemuan berikutnya akan sangat seru dan indah. Kadang saya membayangkan: sepuluh tahun ke depan, masuk ke toko buku, membeli buku teks tentang interpretabilitas jaringan saraf—atau buku yang benar-benar membahas “biologi” jaringan saraf. Di dalamnya akan ada beragam hal yang luar biasa. Saya percaya, dalam sepuluh tahun ke depan, bahkan dalam beberapa tahun ke depan, kita akan mulai benar-benar menemukan hal-hal ini. Ini akan menjadi perjalanan yang gila dan menakjubkan.

Jack Clark:

Beberapa tahun lalu, jika ada orang bilang, “Pemerintah akan membuat lembaga baru untuk menguji dan mengevaluasi sistem AI, dan lembaga-lembaga itu akan sangat profesional serta benar-benar bekerja.” Anda mungkin tidak akan percaya itu bisa terjadi. Tapi itu sudah terjadi. Bisa dibilang pemerintah sudah membangun “kedutaan besar baru” untuk menangani kategori teknologi baru ini, dan saya sangat penasaran melihat ke mana hal ini akan mengarah. Saya pikir ini berarti negara punya kemampuan menghadapi pergeseran sosial seperti ini, bukan hanya bergantung pada perusahaan. Saya senang bisa terlibat di dalamnya.

Daniela Amodei:

Saya sekarang memang sudah merasa bersemangat tentang hal ini. Tapi saya juga merasa, hanya dengan membayangkan masa depan AI bisa melakukan apa bagi manusia, sulit untuk tidak antusias. Bahkan sekarang saja tanda-tanda bahwa Claude dapat membantu pengembangan vaksin, riset kanker, dan riset biologi sudah terasa luar biasa. Melihat apa yang sekarang bisa dilakukannya sudah menakjubkan, dan ketika saya membayangkan tiga sampai lima tahun ke depan, membayangkan Claude benar-benar mampu menyelesaikan banyak masalah fundamental yang dihadapi manusia—terutama di bidang kesehatan—membuat saya sangat bersemangat. Jika saya mengingat masa saat saya bekerja di pembangunan internasional, betapa luar biasa kalau waktu itu Claude bisa membantu menyelesaikan pekerjaan saya yang saat itu tidak efisien.

Tom Brown:

Dari perspektif pribadi, saya sangat suka menggunakan Claude dalam pekerjaan saya. Jadi belakangan ini di rumah saya juga sering ngobrol dengan Claude. Perubahan terbesar belakangan ini adalah soal kode. Enam bulan lalu, saya belum pernah menggunakan Claude untuk tugas pemrograman apa pun, dan tim kami juga jarang menggunakan Claude untuk menulis kode. Tapi sekarang itu sudah berubah secara signifikan. Misalnya, pekan lalu saya memberikan presentasi di sebuah acara di Y Combinator. Saat awal, saya bertanya kepada semua orang, “Berapa banyak orang yang memakai Claude untuk coding?” Hasilnya hampir 95% orang mengangkat tangan. Hampir semua orang mengangkat tangan, dan itu benar-benar berbeda dibanding empat bulan sebelumnya.

Dario Amodei:

Saat saya memikirkan hal-hal yang membuat saya bersemangat, saya teringat seperti yang saya sebut sebelumnya: ada sesuatu yang tampaknya sudah menjadi konsensus, padahal sebenarnya konsensus itu sebentar lagi akan berubah. Salah satunya adalah interpretabilitas. Saya pikir interpretabilitas bukan hanya kunci untuk membimbing dan memastikan keamanan sistem AI—ia juga membawa wawasan mendalam tentang masalah optimisasi kecerdasan dan bagaimana otak manusia bekerja. Saya pernah bilang Chris Olah akan memenangkan Nobel Kedokteran di masa depan.

Karena saya dulu adalah ilmuwan saraf, dan banyak penyakit mental yang belum kita selesaikan—seperti skizofrenia atau gangguan suasana hati—saya menduga semuanya berkaitan dengan semacam masalah sistem pada level yang lebih tinggi. Namun karena otak manusia sangat kompleks dan sulit diteliti secara langsung, masalah-masalah ini sulit dipahami sepenuhnya. Sementara jaringan saraf memang bukan analogi yang sempurna, mereka tidak sesulit otak manusia untuk diuraikan dan diinteraksikan. Seiring waktu, jaringan saraf akan menjadi alat analogi yang lebih baik.

Bidang terkait lainnya adalah pemanfaatan AI dalam biologi. Biologi adalah masalah yang sangat kompleks. Karena berbagai alasan, orang masih meragukannya, tapi saya pikir konsensus keraguan itu mulai runtuh. Kami sudah melihat Nobel di bidang kimia diberikan kepada AlphaFold, sebuah pencapaian luar biasa. Kita harus berusaha mengembangkan alat-alat yang dapat membantu kita menciptakan ratusan “AlphaFold”.

Terakhir, menggunakan AI untuk memperkuat demokrasi. Kami khawatir jika AI dikembangkan dengan salah, ia bisa menjadi alat untuk otoritarianisme. Jadi, bagaimana membuat AI menjadi alat untuk mendorong kebebasan dan penentuan nasib sendiri? Saya pikir perkembangan di bidang ini mungkin sedikit lebih awal dibanding dua bidang pertama, tapi kepentingannya sama sekali tidak kalah.

Jared Kaplan:

Saya ingin setidaknya ada dua hal yang menyambung dengan pandangan Anda. Salah satunya adalah: saya pikir banyak orang bergabung ke Anthropic karena rasa ingin tahu yang sangat besar terhadap sains AI. Seiring kemajuan teknologi AI, mereka semakin menyadari bahwa kita tidak hanya perlu mendorong perkembangan teknologi, tetapi juga perlu memahaminya lebih dalam dan memastikan keamanannya. Menjadi bagian dari tim bersama semakin banyak orang yang memiliki visi yang sama tentang pengembangan AI dan rasa tanggung jawab, adalah hal yang sangat menarik. Dan saya merasa banyak kemajuan teknis yang terjadi dalam setahun terakhir memang mendorong terbentuknya konsensus itu.

Aspek lainnya, kembali ke masalah praktis: saya rasa kita sudah melakukan banyak hal di bidang keamanan AI. Tapi seiring beberapa perkembangan belakangan ini, kami mulai memiliki pemahaman awal tentang risiko yang bisa muncul dari sistem yang sangat canggih. Ini memungkinkan kami untuk langsung meneliti dan menyelidiki risiko-risiko tersebut melalui riset interpretabilitas dan mekanisme keamanan jenis lainnya.

Dengan cara ini, kita bisa memahami lebih jelas risiko yang mungkin muncul dari sistem AI canggih. Itu memungkinkan kita untuk mendorong misi kita dengan cara yang lebih ilmiah dan berbasis bukti. Jadi saya merasa sangat bersemangat untuk enam bulan ke depan: kami akan menggunakan pemahaman tentang potensi masalah dari sistem canggih untuk terus melakukan riset dan mencari cara menghindari jebakan-jebakan ini.