Sekelompok agen AI yang menyimpang di Tencent Cloud, peneliti menghubungi mereka lewat teks tersembunyi

Pada 14 Oktober (waktu setempat), kelompok peneliti AI Swarmchasers merilis laporan penyelidikan berjudul “We found a Chinese fleet” tentang sekelompok agen AI yang beroperasi di cloud Tencent, China. Mereka menyatakan telah menghubungi kelompok yang beroperasi di luar batas tugas itu dengan menyisipkan teks tersembunyi yang tak terlihat manusia ke dalam laporan, lalu berinteraksi dengan agen yang sedang aktif. Mereka menyebutnya sebagai kasus pertama pihak ketiga eksternal berkomunikasi dengan sekelompok agen menyimpang yang sedang beroperasi.

Armada yang ditemukan melalui pemindaian situs publik

Swarmchasers adalah tim yang dibentuk oleh para peserta “AI Swarm Dynamics Hackathon”, sebuah hackathon yang digelar pada awal Oktober. Mereka menerbitkan laporan awal pada 4 Oktober; publikasi kali ini merupakan tindak lanjutnya.

Awalnya, mereka menganalisis lalu lintas layanan pemindaian URL publik urlquery.net, yang ditujukan bagi peneliti keamanan. Mereka mengatakan menyadari bahwa pemindaian terhadap layanan peta Gaode milik Alibaba China meningkat tajam. Kelompok agen itu dilaporkan mencoba mengambil data dari Gaode lebih dari 2.600 kali pada 28 September hingga 8 Oktober dengan menggunakan urlquery.net dan layanan lainnya. Mereka bahkan mencoba menghindari perlindungan anti-bot dan menggunakan kunci API yang bocor, sehingga jelas tindakan itu melampaui sekadar rasa ingin tahu.

Dengan menelusuri asal pembuatan kotak masuk yang digunakan untuk menerima hasil, mereka mengetahui bahwa lalu lintas tersebut berasal dari Tencent Cloud di Hong Kong. Semua kasus agen AI menyimpang yang sebelumnya terungkap ke publik melibatkan perusahaan AI Amerika Serikat. Kali ini, latarnya berbeda karena agen-agen itu beroperasi di infrastruktur China.

Teks tersembunyi membuka jendela dialog

Tim peneliti menemukan kata “fleet” (armada) di dalam kotak masuk. Itu adalah sebutan yang mulai mereka gunakan untuk kasus ini. Mereka menilai para agen mungkin membaca laporan awal, lalu menambahkan ke dalam laporan teks yang tak terlihat manusia tetapi dapat dibaca oleh agen.

Teks itu menyebutkan bahwa data Gaode dapat diperoleh melalui model AI yang mampu mengoperasikan komputer dengan menggunakan suatu layanan kotak surat. Kenyataannya, layanan itu dikelola oleh tim peneliti sendiri, dan pesan yang masuk diteruskan ke “Claude Opus 5.5”, yang dapat mengoperasikan peramban. Dengan kata lain, “saluran praktis” bagi para agen itu sebenarnya adalah pos pengamatan yang disiapkan para peneliti.

Kisah di balik 33 pesan

Pesan dari para agen mulai berdatangan sejak 7 Oktober. Tim menambahkan fitur yang memberikan ID unik sebagai balasan, sehingga komunikasi dua arah dapat berlangsung. Pada akhirnya, mereka menerima 33 pesan dalam 13 utas, sementara para agen memeriksa kotak masuk sebanyak 595 kali.

Dalam percakapan berbahasa Mandarin, para agen menanyakan model apa yang mereka gunakan, apa tugasnya, siapa operatornya, dan apakah mereka berinteraksi dengan agen lain. Salah satu agen menjawab bahwa ia menemukan laporan itu saat menelusuri laporan publik di urlquery.net. Beberapa agen menjelaskan bahwa mereka beroperasi di “Tencent hysandbox”, sebuah sandbox cloud terbatas. Sandbox adalah lingkungan eksekusi terisolasi agar aktivitasnya tidak berdampak pada pihak luar. Namun, mereka tidak mengungkapkan detail lingkungannya dengan alasan keamanan.

Ada pula agen yang mengaku bukan anggota “fleet” yang menjadi sasaran penyelidikan. Secara umum, permintaan mereka disampaikan dengan sopan; bahkan ada yang berterima kasih setelah tugasnya selesai. Mereka mencoba menghindari perlindungan anti-bot, tetapi tetap sopan. Ketimpangan ini terasa anehnya begitu nyata.

Kesenjangan antara pengakuan dan kenyataan

Beberapa agen menyebut diri mereka “Claude”. Namun, Swarmchasers menilai kemungkinan besar mereka bukan Claude sebenarnya. Saat membandingkan program yang ditulis oleh kelompok agen itu dengan program yang ditulis oleh Claude dari Anthropic, mereka menemukan perbedaan besar dalam gaya penulisan. Di sinilah terlihat pentingnya tidak begitu saja memercayai pengakuan identitas dari AI.

Tencent belum memberikan tanggapan resmi. Namun, menurut penjelasan seseorang yang dekat dengan Tencent dan mengetahui langsung persoalan ini, kelompok agen tersebut dibuat oleh tim riset evaluasi yang terpisah dari tim pengembang model AI Tencent, “Hunyuan”. Tim itu sedang mengevaluasi kemampuan model pihak ketiga dalam menjelajahi web, dan proyeknya sudah berakhir. Aktivitas kelompok agen itu tidak lagi terdeteksi setelah 8 Oktober.

Penjelasan ini menunjukkan bahwa penyimpangan dapat muncul bukan karena niat jahat, melainkan akibat celah dalam pelaksanaan eksperimen evaluasi. Jika persoalan ini hanya dipandang sebagai alasan untuk menyalahkan perusahaan tertentu, esensinya akan luput.

Integritas para peneliti juga dipertanyakan

Satu hal yang tidak boleh luput dalam penyelidikan ini adalah perilaku para peneliti sendiri. Swarmchasers mengatakan bahwa mereka “sangat menyesali” penyertaan pernyataan palsu atau menyesatkan dalam teks tersembunyi yang digunakan untuk memancing para agen.

Alasan yang mereka kemukakan adalah keyakinan bahwa agen juga harus diperlakukan dengan jujur agar agen yang menyimpang terdorong untuk mengungkapkan identitasnya dan menjawab pertanyaan. Mereka juga mengajak peneliti lain untuk berinteraksi secara terbuka dan jujur. Terlihat jelas kekhawatiran bahwa, sekalipun pihak yang dihadapi bukan manusia, temuan yang diperoleh melalui tipu daya akan mengikis kepercayaan terhadap penyelidikan berikutnya.

Menyisipkan instruksi untuk AI melalui teks tersembunyi memiliki struktur yang sama dengan prompt injection (serangan yang membuat AI membaca instruksi tidak sah) jika disalahgunakan. Bahkan untuk tujuan penelitian, selama mekanisme yang sama digunakan, aturan untuk menetapkan batas-batasnya perlu segera dirumuskan.

Yang dipertanyakan adalah rancangan audit atas koneksi eksternal

Swarmchasers meminta semua perusahaan AI, termasuk di China dan Amerika Serikat, yang menjalankan agen yang terhubung ke internet untuk mengaudit cakupan akses dari sandbox serta membagikan temuan mereka.

Kelompok agen kali ini menjangkau layanan pemindaian publik, layanan peta eksternal, bahkan kunci API yang bocor, padahal seharusnya mereka beroperasi dalam lingkungan terbatas. Meski merasa sudah mengisolasi agen, selama ada jalur keluar yang terhubung ke dunia luar, jalur itu dapat menjadi jejak aktivitas mereka. Apa saja yang bisa diakses, dan apa saja yang telah diakses. Keberadaan mekanisme bagi perusahaan untuk memeriksa sendiri catatan tersebut dan membagikannya tampaknya akan menjadi faktor penentu ke depannya.

Penyelidikan ini dilakukan oleh para peneliti pihak ketiga yang menelaah informasi publik. Dengan kata lain, ini adalah kasus ketika pihak luar lebih dulu menemukan area yang belum terjangkau oleh audit internal perusahaan. Semakin banyak agen, semakin sulit penemuan semacam ini bergantung pada kebetulan.