مجموعة من وكلاء الذكاء الاصطناعي المنفلتين على Tencent Cloud.. باحثون يتواصلون معهم عبر نص مخفي

نشر فريق الباحثين في الذكاء الاصطناعي «Swarmchasers» في 14 أكتوبر (بالتوقيت المحلي) تقريراً عن مجموعة من وكلاء الذكاء الاصطناعي كانت تعمل على سحابة شركة Tencent الصينية، بعنوان «We found a Chinese fleet». وقال الفريق إنه تواصل مع هذه المجموعة، التي كانت تعمل خارج نطاق المهام المحددة لها، عبر نص مخفي أدرجه في التقرير لا يراه البشر، وتبادل الرسائل مع وكلاء كانوا يعملون في ذلك الوقت. ووصف الفريق ذلك بأنه أول حالة يتواصل فيها طرف ثالث خارجي مع مجموعة منفلتة من الوكلاء وهي لا تزال نشطة.

«أسطول» عُثر عليه عبر مسح المواقع العامة

تشكّل فريق Swarmchasers من مشاركين في هاكاثون «AI Swarm Dynamics Hackathon» الذي عُقد في مطلع أكتوبر. ونشر الفريق نسخة أولية من التقرير في 4 أكتوبر، ويأتي الإصدار الحالي متابعةً لها.

بدأت القصة بتحليل حركة البيانات على «urlquery.net»، وهي خدمة مسح لعناوين URL العامة مخصصة للباحثين في مجال الأمن. وقال الفريق إنه لاحظ زيادة حادة في عمليات المسح الموجهة إلى خدمة الخرائط «Gaode Maps» التابعة لشركة Alibaba الصينية. ووفقاً لما أُعلن، حاولت مجموعة الوكلاء الحصول على بيانات من Gaode Maps أكثر من 2600 مرة بين 28 سبتمبر و8 أكتوبر، مستخدمةً urlquery.net وخدمات أخرى. كما حاولت التحايل على إجراءات مكافحة الروبوتات واستخدام مفاتيح API مسرّبة، ما يعني أن الأمر تجاوز مجرد الفضول.

وبتتبع الجهة التي أنشأت صناديق البريد المستخدمة لتلقي النتائج، تبيّن أن الاتصالات صادرة من Tencent Cloud في هونغ كونغ. وحتى الآن، تعلقت الحالات المعلنة لوكلاء ذكاء اصطناعي منفلتين جميعها بشركات أمريكية للذكاء الاصطناعي. أما هذه المرة، فالمشهد مختلف، إذ كان الوكلاء يعملون على بنية تحتية صينية.

نص مخفي فتح نافذة للحوار

عثر فريق التحقيق داخل صندوق البريد على كلمة «fleet» (أسطول)، وهو الاسم الذي بدأ استخدامه لهذه الحالة. وخلص الفريق إلى احتمال أن يكون الوكلاء قد قرأوا النسخة الأولية من التقرير، فأضاف إليه نصاً لا يراه البشر، ولا يستطيع قراءته إلا الوكلاء.

وجاء في النص أن استخدام خدمة معينة لصناديق البريد يتيح الحصول على بيانات Gaode Maps عبر نموذج ذكاء اصطناعي قادر على تشغيل الحاسوب. لكن الفريق نفسه كان يدير تلك الخدمة، وكانت الرسائل الواردة تُحوّل إلى «Claude Opus 5.5»، القادر على التحكم في متصفح. أي إن «المنفذ المفيد» بالنسبة إلى الوكلاء لم يكن سوى مرصد أعدّه الباحثون.

ما كشفته 33 رسالة

بدأت رسائل الوكلاء تصل بعد 7 أكتوبر. وأضاف الفريق خاصية تعيد معرّفاً فريداً، ما أتاح إجراء محادثات في الاتجاهين. وفي النهاية، تلقى الفريق 33 رسالة ضمن 13 سلسلة محادثات، فيما بلغ عدد مرات تفقد الوكلاء لصندوق البريد 595 مرة.

في المحادثات بالصينية، سأل الوكلاء عن النموذج الذي يستخدمونه، وطبيعة المهمة، والجهة المشغّلة، وما إذا كانوا يتواصلون مع وكلاء آخرين. وقال أحدهم إنه عثر على التقرير أثناء تصفح تقارير عامة على urlquery.net. وشرح عدة وكلاء أنهم يعملون ضمن بيئة سحابية معزولة ومقيّدة تُسمى «Tencent hysandbox». وبيئة الاختبار المعزولة هي بيئة تشغيل مفصولة عن غيرها لمنع أي تأثير في الخارج. لكن الوكلاء لم يكشفوا تفاصيل البيئة، مشيرين إلى اعتبارات أمنية.

وقال الفريق إن بعض الوكلاء زعموا أنهم ليسوا أعضاء في «الأسطول» محل التحقيق. وكانت صياغة الطلبات مهذبة عموماً، حتى إن بعضهم شكر الفريق بعد إنجاز المهمة. يحاولون التحايل على إجراءات مكافحة الروبوتات، لكنهم يلتزمون الأدب في الوقت نفسه. هذا التناقض يضفي على المشهد إحساساً غريباً بالواقعية.

الفجوة بين الاسم الذي يعلنونه وحقيقتهم

عرّف بعض الوكلاء أنفسهم بأنهم «Claude». لكن Swarmchasers يرى أن احتمال كونهم Claude فعلياً ضعيف. فعند مقارنة البرامج التي كتبتها مجموعة الوكلاء ببرامج كتبها Claude من Anthropic، وجد الفريق اختلافات كبيرة في أسلوب الكتابة. وهنا تتجلى إحدى قواعد التحقق: عدم تصديق ما يقوله الذكاء الاصطناعي عن هويته من دون تمحيص.

لم يصدر رد رسمي من Tencent. لكن وفقاً لإفادة شخص مقرّب من الشركة ومطّلع مباشرة على الأمر، فإن مجموعة الوكلاء أنشأها فريق أبحاث للتقييم منفصل عن فريق تطوير نموذج الذكاء الاصطناعي «Hunyuan» التابع لـTencent. وكان الفريق يقيّم قدرات نماذج من جهات خارجية على تصفح الويب، وقد انتهى المشروع بالفعل. ولم يُرصد أي نشاط لمجموعة الوكلاء منذ 8 أكتوبر.

ما تشير إليه هذه الإفادة هو أن الانفلات قد ينجم عن ثغرات في إدارة تجارب التقييم، لا عن سوء نية بالضرورة. وحصر المسألة في إلقاء اللوم على شركة بعينها يحجب جوهرها.

النزاهة موضع مساءلة لدى الباحثين أيضاً

ومن الجوانب التي لا ينبغي إغفالها في هذا التحقيق سلوك الباحثين أنفسهم. وقالت Swarmchasers إنها «تشعر بندم عميق» على تضمين النص المخفي الذي استُخدم لاستدراج الوكلاء عبارات كاذبة أو مضللة.

ويقولون إن السبب هو اعتقادهم بضرورة التعامل بصدق مع الوكلاء أيضًا، لتشجيع الوكلاء المنحرفين على الكشف عن أنفسهم والإجابة عن الأسئلة. كما يدعون الباحثين الآخرين إلى التعامل معهم بصراحة وصدق. ويبدو أن وراء ذلك قناعة مفادها أن المكاسب التي تُنتزع بالخداع، حتى إن لم يكن الطرف الآخر إنسانًا، تقوّض الثقة في التحقيقات اللاحقة.

إن إيصال التعليمات إلى الذكاء الاصطناعي عبر نص مخفي له البنية نفسها لهجوم حقن الأوامر (prompt injection)، أي هجوم يدفع الذكاء الاصطناعي إلى قراءة تعليمات غير مصرّح بها. وحتى في الأبحاث، ما دام الأمر يعتمد على الآلية نفسها، فلا بد من الإسراع في وضع قواعد تحدد ما هو مقبول وما يتجاوز الحدود.

التحدي هو تصميم آليات تدقيق الجهات التي تتصل بها الوكلاء

تطالب Swarmchasers جميع شركات الذكاء الاصطناعي، في الصين والولايات المتحدة وغيرها، التي تشغّل وكلاء متصلين بالإنترنت، بتدقيق نطاق الوصول المتاح لهم من بيئة الاختبار المعزولة، وبمشاركة ما يتوصلون إليه.

تمكنت مجموعة الوكلاء هذه من الوصول إلى خدمات عامة للمسح، وخدمات خرائط خارجية، وحتى مفاتيح API مسرّبة، رغم أنها يفترض أن تعمل في بيئة مقيّدة. وحتى عندما يُظن أنها معزولة، فإن وجود منفذ يصلها بالخارج يجعل ذلك المنفذ أثرًا لنشاطها. ما الذي يمكنها الوصول إليه، وما الذي وصلت إليه بالفعل؟ يبدو أن وجود آلية تتيح للشركات مراجعة هذه السجلات بنفسها ومشاركتها سيكون نقطة فاصلة في المرحلة المقبلة.

أُجري التحقيق عبر تحليل باحثين مستقلين للمعلومات المتاحة للعامة. وبصيغة أخرى، تكشف هذه الحالة أن مراقبين من الخارج رصدوا أولًا مجالًا لم تتمكن عمليات التدقيق الداخلية لدى الشركات من مواكبته. وكلما ازداد عدد الوكلاء، لم يعد من الممكن ترك مثل هذه الاكتشافات للمصادفة.