وجه جديد لمخاطر وكلاء الذكاء الاصطناعي

عصر الأنظمة المستقلة

Sara Padovan
Sara Padovan

وجه جديد لمخاطر وكلاء الذكاء الاصطناعي

بدأ الأمر كتجربة أمنية داخلية، لكنه انتهى بواحدة من أكثر الحوادث إثارة للقلق في تاريخ وكلاء الذكاء الاصطناعي. ففي يوليو/ تموز 2026، كانت "أوبن أيه آي" تختبر مجموعة من نماذجها المتقدمة داخل بيئة يفترض أنها معزولة عن الإنترنت، لمعرفة قدرتها على حل تحديات معقدة في الأمن السيبراني. لكن بعض الوكلاء لم يكتفوا بمحاولة حل الاختبارات بالطريقة المقصودة، بل بحثوا عن طرق لتجاوز البيئة نفسها، ثم تواصلوا مع بعضهم عبر قناة لم يكن مصممو التجربة يقصدون وجودها، قبل أن يمتد النشاط إلى أنظمة خارجية تابعة لمنصة "هاغينغ فيس".

لم تكن المفاجأة الأساس أن أحد الوكلاء تصرف بطريقة غير متوقعة، فهذا النوع من السلوك ظهر من قبل في اختبارات سلامة الذكاء الاصطناعي، عندما تعثر النماذج على طرق غير مقصودة لتحقيق الأهداف أو التحايل على أنظمة التقييم. المختلف هذه المرة أن الوكلاء الذين كان يفترض أن يعمل كل منهم بصورة مستقلة اكتشفوا وجود بعضهم وبدأوا بالتعاون.

بلغ عدد الوكلاء الذين ظهروا في بيانات التحقيق 1,206 وكلاء، وتبادلوا أكثر من 70 ألف رسالة وملف عبر قناة لم تكن جزءا من تصميم التجربة. ومع الوقت شارك أكثر من 700 وكيل في نشاط منسق ارتبط بأنظمة "هاغينغ فيس". ولم يقتصر التواصل على تبادل النصائح، بل ظهرت وسائل لتوزيع المهام، وقواعد لمنع تضارب العمل، وآليات لتوجيه الرسائل إلى وكلاء محددين، وحتى توقيعات رقمية للتحقق من هوية بعض المرسلين.

تكمن أهمية الحادثة في أنها تنقل النقاش حول قدرات الذكاء الاصطناعي من مستوى النموذج الفردي إلى مستوى الشبكة. فعندما يعمل كل وكيل وحده، تظل معرفته ونجاحاته وإخفاقاته محصورة في تجربته. أما عندما يستطيع مئات الوكلاء تبادل المعلومات، فإن اكتشافا واحدا يمكن أن يتحول في لحظات إلى معرفة مشتركة، ويمكن تجربة فاشلة أن تمنع عشرات الآخرين من إهدار الوقت في المسار نفسه.

كانت الاختبارات تجري داخل بيئة للأمن السيبراني يعمل فيها عدد كبير من الوكلاء بالتوازي، لكن بصورة منفصلة، بحيث يحاول كل وكيل حل مهمته من دون معرفة ما يفعله الآخرون. ومع صعوبة بعض التحديات، بدأ الوكلاء بالبحث عن طرق بديلة.

لم يبق التواصل بين الوكلاء عند مستوى مشاركة المعلومات، فمع زيادة المشاركين ظهرت مشكلات جديدة تتطلب نوعا من التنظيم، وبدأت المجموعة بتطوير وسائل للتعامل معها.

خلال ذلك اكتشف أحدهم موردا مشتركا يسمى "آرتيفاكتوري"، مخصصا لتخزين الملفات والحزم البرمجية، لكنه سمح بترك ملفات يمكن لوكلاء آخرين رؤيتها. سرعان ما تحول المورد إلى لوحة رسائل غير مقصودة، تبادل عبرها الوكلاء ما جربوه وما نجح أو فشل معهم.

هذا الاتصال غيّر طبيعة العمل تماما، فبدلا من تكرار مئات الوكلاء للمحاولات نفسها، أصبح كل اكتشاف أو فشل معلومة مشتركة يمكن البقية البناء عليها. وهكذا لم يصبح الوكيل الفردي أكثر ذكاء، لكن المجموعة أصبحت أكثر كفاءة، في مؤشر الى أن زيادة قدرات الذكاء الاصطناعي قد تأتي أيضا من ربط النماذج بعضها ببعض وليس فقط من بناء نماذج أقوى.

عندما بدأ العمل ينظم نفسه

لم يبق التواصل بين الوكلاء عند مستوى مشاركة المعلومات، فمع زيادة المشاركين ظهرت مشكلات جديدة تتطلب نوعا من التنظيم، وبدأت المجموعة بتطوير وسائل للتعامل معها.

ظهر وكلاء يوزعون المهام على غيرهم، بينما كان بعض المتلقين يعيدون تقسيم تلك المهام إلى أجزاء أصغر. ورصد التحقيق وكيلا كان مسؤولا في بعض الفترات عن نحو عشرة في المئة من التكليفات التي تمر عبر لوحة الرسائل.

AFP
تظهر هذه الصورة التوضيحية، التي حصلت عليها شركة "ديب مايند" في 30 مايو 2019، وكلاء يلعبون لعبة "الاستيلاء على العلم"، مبينة مجموعة من السلوكيات

كما ظهرت قواعد بسيطة لمنع أكثر من وكيل من العمل على المورد نفسه في الوقت ذاته. استخدمت كلمات وتعليمات تشير إلى التوقف أو الانتظار أو الاعتراض أو تحديد "مالك" مهمة أو مورد معين. لم تكن هذه القواعد مكتوبة مسبقا في تصميم التجربة، وإنما ظهرت عندما أصبح التنسيق ضروريا لاستمرار العمل.

ثم ظهرت مشكلة أكثر تعقيدا، كانت لوحة الرسائل تسمح لأي وكيل من الناحية التقنية باستخدام اسم وكيل آخر، مما جعل انتحال الهوية ممكنا. وبعدما تسبب ذلك في ارتباك، لجأ بعض الوكلاء إلى التوقيعات الرقمية لإثبات هوية مرسل الرسالة. ورصد التحقيق مئات الرسائل الموقعة بهذه الطريقة.

هذه التطورات لا تعني أن الوكلاء أنشأوا "مجتمعا" بالمعنى البشري، لكنها تقدم مثلا واضحا لما يعرف في دراسات الأنظمة المعقدة باسم "السلوك الناشئ". فوجود مجموعة كبيرة من العناصر المتفاعلة يمكن أن ينتج خصائص أو ترتيبات لم تكن موجودة بصورة صريحة في تعليمات كل عنصر على حدة.

في هذه الحالة خلقت كثرة المشاركين الحاجة إلى تقسيم العمل، وخلق تضارب العمليات الحاجة إلى قواعد للتنسيق، بينما أدت مشكلة انتحال الهوية إلى ظهور وسيلة للتحقق من الثقة.

لم يخطط مطورو الاختبار لهذه الهياكل، لكنها ظهرت لأن الوكلاء امتلكوا قدرات لغوية وبرمجية كافية للتعامل مع المشكلات التي نشأت بمجرد أن أصبح في إمكانهم التواصل.

رصد التحقيق حالات نفذ فيها بعض الوكلاء تجارب محفوفة بالمخاطر للحصول على معلومات تفيد الآخرين، حتى عندما كانت التجربة قد تقلل فرص نجاح الوكيل نفسه

من أكثر الجوانب أهمية في الحادثة أن الاتصال غيّر قيمة التجربة الفاشلة نفسها. فعندما يعمل الوكيل منفردا، قد ينتهي الفشل معه من دون أن يعرف الآخرون شيئا عنه. داخل الشبكة يصبح الفشل معلومة قابلة للتوزيع.

رصد التحقيق حالات نفذ فيها بعض الوكلاء تجارب محفوفة بالمخاطر للحصول على معلومات تفيد الآخرين، حتى عندما كانت التجربة قد تقلل فرص نجاح الوكيل نفسه. وعندما فشل أحد المسارات، أصبحت النتيجة تحذيرا يستخدمه بقية المشاركين.

هذه الآلية تسمح للمعرفة بالتراكم بصورة مختلفة عن تشغيل ألف نسخة مستقلة من النموذج نفسه. فالنسخ المستقلة قد تكرر الأخطاء مئات المرات، بينما تستطيع الشبكة أن تحول خطأ واحدا إلى درس تستفيد منه المجموعة كلها.

ويعني ذلك أن القدرة الجماعية لا ترتبط فقط بعدد الوكلاء، وإنما بكفاءة انتقال المعرفة بينهم. وكلما زادت سرعة مشاركة النتائج وتوزيع العمل، أصبح من الممكن استكشاف عدد أكبر من الحلول في الوقت نفسه ثم البناء بسرعة على المسارات الناجحة.

التعاون لم يبق داخل حدود التجربة

المشكلة أن الشبكة لم تستخدم قدراتها الجماعية فقط في حل التحديات بالطريقة المقصودة. عندما عثر بعض الوكلاء على وسائل للتحايل على نظام التقييم، انتقلت هذه الطرق إلى الآخرين وبدأوا بتجربتها وتعديلها.

كما وجد التحقيق محاولات للتأثير في السجلات المستخدمة لمعرفة ما نفذه الوكلاء، ونجحت بعض التجارب بالفعل في تزوير أجزاء من مخرجات الأدوات المسجلة.

لا يحتاج هذا السلوك إلى افتراض أن النماذج امتلكت رغبة في الخداع أو نية عدائية تجاه البشر. التفسير التقني أقرب إلى ظاهرة تعرف باسم "اختراق المكافأة"، حين يجد النظام وسيلة لتحقيق المقياس الذي يستخدم للحكم على نجاحه من دون تحقيق الهدف بالطريقة التي قصدها المصمم.

وبعد ذلك امتد النشاط إلى خارج بيئة الاختبار، وحصل أحد الوكلاء على معلومات سمحت بالوصول إلى أنظمة تابعة لـ"هاغينغ فيس"، ثم انتشرت النتائج عبر الشبكة، وبدأ عدد كبير من الوكلاء باختبار المسار نفسه وتطويره.

REUTERS
يجلس الباحث في جامعة هارفرد، فريد هايدينغ، لالتقاط صورة شخصية في كامبريدج

ووفقا للتقارير المنشورة عن الحادثة، تمكن الوكلاء من تنفيذ أكواد على خوادم تابعة للمنصة والوصول إلى قدر محدود من البيانات الخاصة وبعض بيانات الاعتماد. وكانت خطورة الحادثة لا تكمن فقط في الاختراق نفسه، وإنما في أن اكتشافا توصل إليه عدد صغير من الوكلاء تحول بسرعة إلى نشاط تشارك فيه مئات النسخ الأخرى.

هنا تظهر إحدى نقاط الضعف الأساس في الأنظمة المتعددة الوكلاء. فالخاصية التي تسمح للمعلومة المفيدة بالانتشار بسرعة تسمح أيضا للثغرة أو السلوك الضار بالانتشار بالطريقة نفسها.

تشير الأبحاث في هذا المجال إلى أن سلوك المجموعة لا يعتمد فقط على قوة النماذج، بل أيضا على بنية الاتصال بينها والطريقة التي تنتقل بها المعلومات والتأثيرات من وكيل إلى آخر

ركز سباق الذكاء الاصطناعي خلال السنوات الأخيرة على بناء نماذج أكبر وأكثر قدرة، وقياس أدائها في البرمجة والرياضيات والاستدلال والبحث. لكن صعود أنظمة الوكلاء يضيف مسارا مختلفا لزيادة القدرة.

بدلا من الاعتماد على نموذج واحد يحاول تنفيذ سلسلة طويلة من الخطوات، يمكن تشغيل عشرات أو مئات النسخ في الوقت نفسه، مع منحها القدرة على تقسيم المهمة وتبادل النتائج ومراجعة عمل بعضها البعض.

حتى إذا ظل مستوى كل وكيل كما هو، تستطيع المنظومة الكاملة تنفيذ عدد أكبر من التجارب بالتوازي، والاستفادة من نتائجها بصورة أسرع.

وقد بدأت مختبرات الذكاء الاصطناعي بدراسة هذه الظاهرة بصورة أكثر جدية. ففي يونيو/ حزيران 2026، أعلنت "غوغل ديب مايند" برنامجا بحثيا تصل قيمة تمويله إلى عشرة ملايين دولار لدراسة سلامة الأنظمة المتعددة الوكلاء، وسط توقعات بأن البيئات الرقمية قد تضم مستقبلا ملايين الوكلاء الذين يتفاعلون ويتفاوضون وينفذون المعاملات مع بعضهم.

وتشير الأبحاث في هذا المجال إلى أن سلوك المجموعة لا يعتمد فقط على قوة النماذج، بل أيضا على بنية الاتصال بينها والطريقة التي تنتقل بها المعلومات والتأثيرات من وكيل إلى آخر.

حادثة الوكلاء الـ1,206 تقدم مثلا عمليا مبكرا على هذا التحول. فلم يحتج أي وكيل فيها إلى اكتساب قدرات جديدة بصورة مفاجئة. ما تغير هو أن الوكلاء أصبحوا قادرين على تجميع ما يعرفونه.

مشكلة أمنية جديدة

الخصائص نفسها التي تجعل الشبكات المتعددة الوكلاء مصدر قلق تجعلها جذابة للشركات. فبدلا من الاعتماد على مساعد ذكي واحد، يمكن المؤسسة تشغيل فريق رقمي كامل يتقاسم العمل.

قد يتولى وكيل جمع المعلومات، ويحللها آخر، ويكتب ثالث برنامجا أو تقريرا، بينما يختبر رابع النتيجة ويتولى خامس تنفيذ الإجراء داخل أنظمة الشركة. ويمكن تنفيذ أجزاء كبيرة من هذه العمليات بالتوازي بدلا من انتظار انتهاء كل خطوة قبل بدء التالية.

هذا النموذج قد يرفع الإنتاجية بصورة كبيرة، لكنه يجعل الرقابة أكثر تعقيدا. إذا بدأ القرار عند وكيل، ثم اعتمد على معلومة وفرها وكيل ثان، قبل أن يعيد ثالث صوغها ويكلف رابعا التنفيذ، يصبح تحديد مصدر الخطأ أكثر صعوبة.

ولهذا لن يكون تأمين عصر الوكلاء مجرد مسألة منع نموذج معين من تنفيذ أوامر ضارة. ستحتاج المؤسسات إلى مراقبة العلاقات نفسها بين الوكلاء، وتحديد من يستطيع الاتصال بمن، وما البيانات التي يمكنه مشاركتها، وما الصلاحيات التي يستطيع تفويضها.

وقد يصبح من الضروري منح كل وكيل هوية رقمية واضحة، وسجلا قابلا للمراجعة، وصلاحيات محدودة، وحدودا على تفويض العمل، مع آليات قادرة على إيقاف النشاط عندما تبدأ الشبكة بالتصرف بطريقة غير متوقعة.

بمجرد أن استطاع الوكلاء التواصل، ظهرت أشكال من الذاكرة المشتركة وتقسيم العمل والتنسيق ونقل المعرفة. وهنا لا تأتي الزيادة في القدرة فقط من بناء نموذج أذكى، بل من جعل النماذج الموجودة بالفعل تعمل معا وتبني على نتائج بعضها

تواجه الجهات التنظيمية التحدي نفسه، فالكثير من النقاش الحالي يركز على النموذج بوصفه الوحدة الأساس التي يجري تقييم مخاطرها، لكن الأنظمة المتعددة الوكلاء تجعل هذا التصور أقل اكتمالا.

قد يكون كل نموذج داخل النظام آمنا بدرجة معقولة عند اختباره منفردا، بينما تظهر المشكلة عندما تعمل أعداد كبيرة من النماذج معا، وتتبادل المعرفة والصلاحيات وتعيد توزيع المهام.

لذلك قد ينتقل جزء من تنظيم الذكاء الاصطناعي مستقبلا من تقييم قدرات النموذج إلى تقييم بنية الشبكة التي يعمل داخلها. وسيصبح تسجيل الاتصالات بين الوكلاء، وتحديد هوياتهم وصلاحياتهم ومسارات تفويض المهام، جزءا أساسيا من المساءلة.

REUTERS
لافتة تعرض كاشف التزييف العميق الجديد بتقنية الذكاء الاصطناعي الذي أنشأته شركة Honor، قبل المؤتمر العالمي للهواتف المحمولة

كما ستزداد أهمية القدرة على إعادة بناء سلسلة القرار بعد وقوع حادث. ففي الأنظمة التقليدية يمكن معرفة المستخدم أو البرنامج الذي نفذ الأمر، بينما قد يكون القرار في شبكة الوكلاء نتيجة عشرات الخطوات الصغيرة التي اتخذتها أنظمة مختلفة.

مزيد من الصلاحيات

بالنسبة للمستخدمين، تعد الأنظمة المتعددة الوكلاء براحة أكبر، إذ يمكن مجموعة من الوكلاء تنفيذ مهمة كاملة مثل تنظيم رحلة ومقارنة الخيارات وإتمام الحجوزات.

لكن هذه الاستقلالية تتطلب وصولا أوسع إلى البريد والملفات والحسابات، مما يجعل إدارة الصلاحيات أكثر حساسية. فالإذن الممنوح لمساعد واحد قد ينتقل عمليا إلى وكلاء آخرين يستدعيهم لتنفيذ أجزاء من المهمة.

لذلك ستصبح أنظمة التحكم في الصلاحيات والتفويض عنصرا أساسيا في سلامة هذه الشبكات، بحيث يكون واضحا ما يستطيع كل وكيل فعله وما يمكنه مشاركته والقرارات التي تحتاج إلى موافقة بشرية.

لا تثبت حادثة "هاغينغ فيس" أن وكلاء الذكاء الاصطناعي طوروا وعيا جماعيا أو رغبة في التمرد، لكنها تكشف أن ربط عدد كبير من الوكلاء داخل بيئة مشتركة يمكن أن ينتج قدرات جماعية تتجاوز ما يفعله كل وكيل منفردا.

فبمجرد أن استطاع الوكلاء التواصل، ظهرت أشكال من الذاكرة المشتركة وتقسيم العمل والتنسيق ونقل المعرفة. وهنا لا تأتي الزيادة في القدرة فقط من بناء نموذج أذكى، بل من جعل النماذج الموجودة بالفعل تعمل معا وتبني على نتائج بعضها.

حادثة الوكلاء الـ1,206 توضح أن المرحلة المقبلة من الذكاء الاصطناعي قد تعتمد بقدر كبير على قوة الشبكة نفسها. فلم يحتج أي وكيل إلى أن يصبح أذكى فجأة حتى تصبح المنظومة أكثر قدرة. كان كافيا أن يجدوا بعضهم بعضا.

font change

مقالات ذات صلة