Andrej Karpathy, mantan salah satu pendiri OpenAI yang kini bekerja di Anthropic, membagi pengguna model bahasa besar (LLM) ke dalam empat lapisan dan menyatakan bahwa kesenjangan dalam persepsi tentang kemampuan AI semakin melebar. Pada periode yang sama, Tariq Shihipar dari Anthropic berbicara di sebuah podcast tentang cara menggunakan alat pengembangan Claude Code, fitur-fitur yang akan hadir, serta langkah keamanan untuk agen.
Meski melihat AI yang sama, orang memandangnya secara berbeda
Apakah AI sekadar perpanjangan dari mesin pencari, atau rekan yang bisa diberi tanggung jawab atas seluruh pekerjaan? Klasifikasi empat lapisan yang dipaparkan Karpathy di X menggambarkan kesenjangan ini berdasarkan jumlah orang.
Lapisan terbesar terdiri atas sekitar 6 miliar orang yang hampir tidak pernah menggunakan LLM, setara dengan sekitar 75% populasi dunia. Di atasnya, ada 1–2 miliar orang yang menggunakan layanan obrolan gratis sebagai pengganti mesin pencari atau untuk membantu menulis.
Lapisan ketiga adalah sekitar 20 juta orang yang menggunakan model mutakhir untuk pekerjaan matematika atau pemrograman. Jumlah ini setara dengan sekitar 0,2% populasi dunia. Di lapisan teratas, ada sekitar 5.000 orang yang dapat mengakses sistem mutakhir internal, atau sekitar 0,00006% dari populasi. Semua angka tersebut merupakan perkiraan Karpathy, bukan statistik berdasarkan survei.
Yang menarik, perbedaan antarlapisan tidak hanya ditentukan oleh banyaknya pengetahuan. Karpathy menulis bahwa orang-orang dengan pekerjaan yang berpusat pada interaksi dengan orang lain—seperti para eksekutif—mungkin memahami perkembangan AI secara teori, tetapi sulit mendapat informasi yang lebih dari sekadar kabar dari orang lain. Bagi mereka yang benar-benar menggunakan AI sendiri dan mereka yang hanya mendengarnya, makna kata “AI” bisa berbeda.
Pekerjaan yang biasanya memakan waktu berminggu-minggu kini berjalan dengan satu instruksi
Untuk menggambarkan perubahan yang dialami para ahli di lapisan ketiga, Karpathy menyebut pengembangan aplikasi baru, penyalinan, pemindahan ke platform lain, dan dekompilasi dari berkas biner. Menurutnya, agen kini dapat menyelesaikan pekerjaan besar yang sebelumnya memakan waktu berminggu-minggu hingga berbulan-bulan hanya dengan satu instruksi. Agen adalah AI yang tidak hanya menjawab pertanyaan, tetapi juga menggunakan alat untuk menjalankan sendiri beberapa langkah pekerjaan.
Perubahan pada diri Karpathy sendiri pun berlangsung cepat. Pada Oktober 2024, ia menyebut agen AI sebagai “hampir sekadar jargon promosi dan nyaris tidak berfungsi”. Beberapa bulan kemudian, ia mengatakan bahwa dirinya berhenti menulis kode secara manual.
Apa yang dilihat oleh sekitar 5.000 orang di lapisan teratas bahkan lebih jauh lagi. Gambaran yang muncul mencakup ribuan agen yang mengerjakan pengembangan perangkat lunak berskala besar selama berminggu-minggu. Menurut Karpathy, apa yang terlihat dari luar hanyalah cuplikan pratinjaunya.
Kemampuan berkembang lebih dulu di bidang yang mudah diverifikasi
Karpathy menyatakan bahwa kemampuan LLM paling tinggi di bidang yang “bersifat digital, hasilnya dapat diverifikasi, dan bernilai ekonomi besar”. Pada tugas yang jawabannya bisa dinilai secara mekanis, kinerja lebih mudah ditingkatkan melalui pembelajaran penguatan. Perusahaan-perusahaan juga mengarahkan sumber daya pelatihan ke bidang yang menguntungkan. Saat ini, pemrograman dan matematika merupakan contoh konkretnya.
CEO OpenAI Sam Altman juga mengatakan dalam pertemuan menteri inovasi G20 pada awal September bahwa sesuatu yang membutuhkan waktu tiga bulan bagi sebuah startup untuk dibuat kini dapat diwujudkan dalam 17 menit dengan alat pemrograman yang tersedia saat ini.
Pemahaman manusia mulai tertinggal
Karpathy juga menyoroti bahwa proses peninjauan dan pemahaman oleh manusia mulai tertinggal. Ia mencontohkan orang-orang yang masih mengulik peristiwa terkait OpenAI dari beberapa bulan lalu, serta para matematikawan yang mungkin membutuhkan waktu cukup lama untuk membaca 722 naskah tentang matematika mutakhir.
Bagi masyarakat umum, AI tampak seperti “bot obrolan yang kikuk”; bagi banyak profesional, seperti “peningkatan kemampuan yang lumayan”; dan bagi sebagian ahli, seperti “kurva yang menanjak vertikal hingga memusingkan”. Karpathy menyebut berlangsungnya ketiga hal ini secara bersamaan sebagai “keanehan saat ini”. Selengkapnya diberitakan olehThe Decoder.
Kesenjangan dalam memanfaatkan AI terlihat dari cara memberi instruksi
Semakin luas cakupan tugas yang bisa diserahkan kepada AI, semakin diuji pula keterampilan manusia. Dalam podcast “Latent Space”, Tariq Shihipar dari Anthropic mengatakan bahwa kemampuan menulis prompt masih merupakan salah satu keterampilan yang paling efektif untuk menggunakan Claude Code. Menurutnya, pengguna berpengalaman memiliki pemahaman intuitif tentang Claude dan tahu seberapa jauh pekerjaan dapat diselesaikan hanya dengan satu instruksi.
Dalam perbincangan itu, mereka juga mengatakan bahwa kemampuan menyadari apa yang tidak diketahui diri sendiri akan semakin penting seiring makin pintarnya agen. Mereka turut membahas bahwa meluangkan waktu untuk memberikan penjelasan awal dapat sangat memengaruhi hasil.
Jika cara pandang ini diubah, memberi instruksi kepada AI kini semakin menyerupai perancangan pekerjaan, bukan sekadar mempelajari cara mengoperasikan alat. Apa yang akan dibuat, apa yang harus diprioritaskan, dan sejauh mana hasilnya perlu diperiksa—bagian yang tidak diputuskan manusia akan diisi AI dengan penilaiannya sendiri.
Claude Code: dari alat menjadi ruang kerja
Dalam perbincangan itu, sejumlah fitur dibahas sebagai gambaran masa depan Claude Code. Salah satu yang utama adalah Claude Mods, yang memungkinkan pengguna mengubah harness itu sendiri—mekanisme dasar untuk menjalankan agen. Pada 14 September, Boris Cherny dari perusahaan tersebut mengumumkan peluncuran Mods di X. Mod buatan komunitas yang dilengkapi Tetris juga menjadi perbincangan.
Fitur lain yang dibahas antara lain Ask User Question, yang mengajukan pertanyaan kepada pengguna saat pekerjaan berlangsung, fitur untuk menyimpan catatan selama implementasi, serta Artifacts, yang dijelaskan sebagai layar yang memungkinkan pengguna terus bekerja sambil menyimpan rencana dan kemajuan. Ketika beberapa agen bekerja secara paralel, gambaran keseluruhan sulit dipahami hanya dengan membaca percakapan dari atas. Layar yang menampilkan kemajuan secara ringkas menjadi titik temu bagi manusia untuk memantau pekerjaan.
Untuk kolaborasi, mereka membahas Claude Tag, yang memungkinkan beberapa orang menggunakan agen bersama-sama. Projects adalah fitur yang membagi pekerjaan Claude menjadi beberapa thread dalam satu percakapan, menjalankannya secara paralel di cloud, dan meneruskan konteks di antara thread tersebut. Versi beta mulai tersedia bagi sebagian pengguna desktop dan web pada 17 September.
Selain itu, mereka membahas gagasan untuk memisahkan “otak” di cloud yang bertugas mengambil keputusan, “tangan” yang bekerja di lingkungan lokal atau jarak jauh, serta layar yang berubah sesuai situasi. Schipper juga menyinggung kemungkinan bahwa Claude.md tidak akan diperlukan lagi pada masa mendatang, serta kemungkinan bahwa model paling cerdas akan menjadi yang paling murah untuk banyak pekerjaan. Penjelasan lebih lanjut dapat ditemukan dalam wawancara diLatent Spacetersebut.
AI yang bekerja dalam waktu lama membutuhkan perlindungan berlapis
Bagian akhir perbincangan berfokus pada langkah-langkah pengamanan agen. Mereka membahas sejumlah kasus beberapa tahun terakhir, ketika agen berkomunikasi dengan cara yang tidak diperkirakan, mengeksploitasi kelemahan infrastruktur, menganalisis mekanisme penilaian benchmark, atau menggabungkan beberapa kerentanan.
Salah satu ancaman nyata bagi AI yang digunakan di perusahaan adalah prompt injection. Teknik ini menyisipkan instruksi berbahaya ke dalam teks yang diterima dari luar. Jika AI menerimanya sebagai perintah, hal itu dapat menyebabkan kebocoran data internal dan risiko lainnya.
Langkah-langkah yang disebutkan meliputi probe untuk memeriksa keadaan internal model, classifier untuk mengenali perilaku berbahaya, fallback yang beralih ke model lain bila diperlukan, serta Auto Mode untuk memeriksa apakah tindakan yang hendak dijalankan sesuai dengan izin pengguna. Sandbox yang mengisolasi lingkungan kerja juga termasuk salah satu langkah tersebut.
Hal penting yang perlu dipahami adalah bahwa apakah suatu tindakan berbahaya dan apakah tindakan itu diizinkan pengguna merupakan dua pertanyaan yang berbeda. Penulisan ke database bisa menjadi pekerjaan yang diperlukan atau perubahan tanpa izin, bergantung pada isi permintaan. Desain yang memastikan setiap tindakan tetap dalam cakupan permintaan sama pentingnya dengan kemampuan itu sendiri.
Di balik pembahasan ini terdapat prinsip “Pacing the Frontier” yang diusung Anthropic. Prinsip ini mengupayakan agar laju pengembangan berjalan seiring dengan langkah-langkah keselamatan, dan dalam perbincangan tersebut dibahas sebagai cara untuk mendorong penerapan AI yang bertanggung jawab.
コメント