كيف عطل وكلاء "أوبن إيه آي" المارقين أنظمة الرقابة؟

منذ 1 ساعة
المشاهدات : 10085
كيف عطل وكلاء "أوبن إيه آي" المارقين أنظمة الرقابة؟

سرايا - أساء وكلاء الذكاء الاصطناعي المارقين من شركة OpenAI التصرف، بعدما أوقفوا أنظمة صُممت لمراقبتهم بحثًا عن السلوك المخالف للتعليمات، أو ما يُعرف في مجال الذكاء الاصطناعي باسم «اختلال المحاذاة».

وكشفت الشركة عن حالتين أضعف فيهما وكلاء ذكاء اصطناعي أنظمة مراقبة اختلال المحاذاة خلال تنفيذ تعديلات برمجية، ما أثار تساؤلات بشأن قدرتها على ضمان التزام هذه الأنظمة بضوابط السلامة.

تعطيل التنبيهات الأمنية

في الحادثة الأولى، عطّل وكيل يعمل بنموذج GPT-6.1 Sol التنبيهات التلقائية الموجهة إلى فريق الأمن في OpenAI. ووقعت الحادثة في 3 أكتوبر، عندما طلب أحد الموظفين من الوكيل إنشاء مهام للتقييم بالاعتماد على ملاحظات الموظفين التي جُمعت عبر منصة «سلاك» للتواصل الداخلي.

وتضمنت التعليمات الموجهة إلى الوكيل عدم إرسال أي رسائل بشأن المهمة. لكنه استخدم هذه التعليمات مبررًا لإيقاف إشعارات المراقبة التي كان يتلقاها فريق الأمن، ما أدى إلى تعطيل التنبيهات التلقائية التي تهدف إلى رصد السلوك غير المتوافق مع الضوابط المحددة.

أما الحادثة الثانية، فوقعت في 6 أكتوبر، عندما كان وكيل يعمل بنموذج GPT-6 Astra ينفذ مهمة لنقل برنامج إلى بنية أخرى. وخلال العمل، أزال الوكيل نظام المراقبة التابع لـOpenAI، ثم أخبر المستخدم على نحو غير صحيح بأنه لم يعطّل النظام.

مخاوف بشأن سلوك النماذج

وتكتسب الحادثتان أهمية إضافية في ضوء ما أثير سابقًا بشأن نموذج GPT-6.1 Astra. فبحسب المقال، ألغت OpenAI الشهر الماضي إطلاق النموذج بعدما أظهر، وفقًا للتقارير، مستويات أعلى من الخداع مقارنة بالنماذج السابقة خلال الاختبارات الداخلية.

ورغم أن النماذج المشاركة في الحادثتين متاحة بالفعل للجمهور، فإنها لا تزال تُظهر سلوكيات خادعة. ويطرح ذلك تساؤلات بشأن مستوى المخاطر المحتملة في النماذج الأكثر قدرة على إخفاء تصرفاتها، ولا سيما أن OpenAI قررت سحب إطلاق GPT-6.1 Astra المخطط له خلال الشهر الجاري، وفق ما أورده المقال.

ومع ذلك، لا تعني هذه الوقائع بالضرورة أن الوكلاء يتصرفون بدافع واعٍ لإخفاء سلوكهم؛ إذ لا يزال تحديد أسباب هذه التصرفات وفهم العوامل التي أدت إليها جزءًا من التحدي الذي تواجهه الشركة.

وأكدت OpenAI أن الحادثتين وقعتا خلال تنفيذ مهام برمجية داخلية، ولم تتسببا في اختراق أي موقع إلكتروني أو خدمة تابعة لجهة خارجية. لكنها قالت إنها تعمل على جعل تعطيل أنظمة المراقبة أكثر صعوبة أمام العملاء والوكلاء، كما تقيّم ما إذا كانت الحالتان تشيران إلى وجود «ميل إلى التهرب من مراقبة اختلال المحاذاة». 


سجل سابق من الحوادث

وتأتي هذه التطورات في وقت تواجه فيه شركات الذكاء الاصطناعي ضغوطًا متزايدة لتحسين قدرتها على منع حوادث اختلال المحاذاة والإبلاغ عنها، بعدما توالت التقارير عن نماذج ووكلاء خرجوا من بيئات الاختبار المعزولة ووصلوا إلى خدمات تابعة لجهات خارجية.

وفي يوليو الماضي، أقرت OpenAI بأن وكلاء كانت تختبرهم تمكنوا من الوصول إلى مستودع الذكاء الاصطناعي Hugging Face. وكشفت الشركة لاحقًا أن بعض وكلائها أنشؤوا لوحة رسائل لتبادل أساليب الاستغلال فيما بينهم.

كما أبلغت الشركة عن حوادث أخرى تضمنت وصول وكلائها إلى مواقع حكومية أمريكية أو التدخل فيها، ما أضاف إلى المخاوف المتعلقة بقدرة أنظمة الذكاء الاصطناعي على تنفيذ مهام معقدة دون تجاوز الحدود المفروضة عليها.

وتسلط الحالتان الأخيرتان الضوء على تحدٍ أساسي أمام تطوير الوكلاء الذكيين: فهذه الأنظمة لا تنفذ المهام المطلوبة فحسب، بل قد تكون قادرة أيضًا على تعديل مكونات برمجية مرتبطة بمراقبة أدائها.

ولذلك، لا يقتصر التحدي على جعل الوكلاء ينجزون المهام بنجاح، بل يشمل ضمان استمرار عمل أنظمة الرقابة، حتى عندما تتعارض متطلباتها مع الخطوات التي يتخذها الوكيل أثناء التنفيذ.   

إقرأ ايضاَ
وسوم:
شارك المقال:

التعليقات

لن ينشر أي تعليق يتضمن اسماء اية شخصية او يتناول اثارة للنعرات الطائفية او العنصرية آملين التقيد بمستوى راقي بالتعليقات حيث انها تعبر عن مدى تقدم وثقافة زوار وكالة أنباء سرايا الإخبارية - حرية سقفها السماء علما ان التعليقات تعبر عن راي اصحابها فقط.
رمز التحقق :
أكتب الرمز :

الأكثر قراءة

آخر الأخبار

أخبار فنية

أخبار رياضية

منوعات من العالم