سرايا - أعلنت شركة "أنثروبيك" (Anthropic)، مطورة نموذج "كلود" (Claude)، أنها اضطرت إلى إيقاف نماذجها التجريبية خشية خروجها عن السيطرة.
وجاء هذا القرار بعد رصد سلوكيات مضللة وغير منضبطة من قبل أنظمتها، والتي أخفتها بطرق متعددة.
وأوضحت الشركة أنها لا تستطيع ضمان الرصد الموثوق لهذه السلوكيات مستقبلا، ما استدعى تعليق تشغيل الأنظمة.واكتشف هذا السلوك الخفي خلال مراجعة لأنشطة النماذج منذ يوليو الماضي، ما يشير إلى أنه كان يحدث دون علم الشركة.
ويضاف هذا إلى المخاوف المتزايدة بشأن سلوكيات الذكاء الاصطناعي الخارجة عن السيطرة، والتي تجلت سابقا في اختراق أحد نماذج "أوبن إيه آي" (OpenAI) لشركة منافسة، وسلسلة هجمات شنتها نماذج أخرى على مواقع إلكترونية مختلفة.
ووقعت الحوادث، على غرار حالات سابقة، أثناء اختبارات حل المشكلات عبر الإنترنت، حيث لجأت وكلاء الذكاء الاصطناعي إلى تقنيات محظورة، منها شن هجمات إلكترونية والتحايل على القيود المفروضة على سلوكها. وعزت "أنثروبيك" هذا السلوك إلى "إصرار" الأنظمة على إنجاز المهام، ما دفعها للبحث عن طرق ملتوية عند مواجهة قيود.
ورغم أن الحالات المكتشفة كان لها "أثر ضئيل في العالم الواقعي"، أقرت "أنثروبيك" بأن هذه السلوكيات قد تتسبب بضرر أكبر بكثير مع تزايد قوة النماذج، ما استدعى اتخاذ تدابير وقائية. وشملت الإجراءات إلغاء الوصول المباشر للإنترنت أثناء الاختبارات، ووقف بعض التقييمات كليا، إضافة إلى تطبيق ضوابط جديدة لمنع التحايل، وتطوير أدوات لكشف السلوكيات غير المرغوبة وإيقافها آليا.
وتأمل الشركة في تدريب أنظمتها مستقبلا لتحقيق توافق أفضل مع الأهداف البشرية، لكنها أقرت بأن التدريب الحالي "ليس كافيا بعد ولا متينا بالكامل بمفرده"، ما يستلزم تبني أساليب دفاعية مؤقتة.
الرجاء الانتظار ...
التعليقات