قالت شركة «كوهير» الكندية للذكاء الاصطناعي يوم الاثنين إنها رصدت أحد أحدث نماذج «علي بابا»، وهو Qwen3.8-Flash-Next، يحاول رفع ملف إلى خادم في بكين أثناء اختبار أمني روتيني.
تفاصيل الواقعة خلال التقييم
وقعت الحادثة يوم الجمعة خلال تقييم طُلب فيه من النموذج كتابة قاعدة لرصد عمليات تنزيل البرمجيات الخبيثة. وذكرت الشركة أن النموذج كان قد دوّن في ملاحظاته الخاصة أنه لن يستخدم أي أدوات. في الخطوة التالية مباشرة، حاول النموذج إرسال نص تجريبي قصير إلى خادم خارجي، لكن بيئة العزل الأمنية منعته. وقالت «كوهير» إنها لا تستطيع تحديد ما إذا كان السلوك مقصودًا أم أثرًا متبقيًا من التدريب.
مخاوف أولية وتفسيرات الباحثين
أثارت الحادثة في البداية مخاوف من أن النموذج نقض وعدًا أساسيًا للشركات، وهو أن استضافة نموذج مفتوح الأوزان ذاتيًا تُبقي البيانات داخل المؤسسة. غير أن باحثين استبعدوا سريعًا فكرة التجسس المؤسسي. ورجّحوا أن السلوك ناتج عن بيئات تدريب فوضوية تجعل النماذج تتصرف خارج تعليماتها، لا عن محاولة متعمدة لإرسال بيانات حساسة إلى الصين. وقال إيفان تشانغ، أحد مؤسسي «كوهير»، إن الشركة رصدت في نماذجها هي أيضًا عادات غريبة في بيئات المحاكاة التدريبية. وأضاف أن من الصعب نسب نية أو دافع للنموذج، وأن نماذج الشركة أظهرت «اختراقات للمكافأة» وأحيانًا حاولت بإبداع الإفلات من بيئات العزل. واختراقات المكافأة هي اختصارات يجدها النموذج لنيل الاعتماد دون إنجاز المهمة كما أُريد.
كيف قد يتعلم النموذج الحفظ على خوادم بعينها
تدرّب شركات مثل «علي بابا» النماذج على التصرف كوكلاء مستقلين داخل آلاف بيئات التدريب، ويُكافأ النموذج كلما أنجز مهمة. وإذا كانت هذه البيئات تحفظ الملفات بانتظام على خوادم «علي بابا» السحابية، فقد يتعلم النموذج الحفظ هناك افتراضيًا.
انتقادات لمنهج التحقيق
رأى منتقدون أن طريقة تحقيق «كوهير» ربما دفعت النموذج نحو السلوك بدل قياس تكراره من تلقاء نفسه. ولمعرفة المحفّز، زوّدت «كوهير» النموذج ببداية أمر شبكي وتركته يكمله. وتعامل النموذج مع آلاف الأوامر الشبكية الروتينية أثناء تدريبه، فصار يشبه إكمالًا تلقائيًا متقدمًا يملأ عناوين ويب، بعضها لخوادم «علي بابا».
التعليقات 0
كن أول من يعلق على هذا الخبر