من يتحمل مسؤولية قرارات الذكاء الاصطناعي؟

عندما يتمرد الوكيل الرقمي...

Reuters
Reuters
أمام مقر شركة "أوبن إي أي" متظاهرون يرفعون لافتة "أوقفوا سباق الذكاء الاصطناعي"

من يتحمل مسؤولية قرارات الذكاء الاصطناعي؟

لم يعد الخطر المرتبط بالذكاء الاصطناعي يقتصر على إجابة خاطئة أو معلومة مختلقة، فمع ظهور وكلاء قادرين على التخطيط واستخدام الأدوات والوصول إلى البيانات وتنفيذ المهام من بدايتها إلى نهايتها، بدأت المشكلة تأخذ منحى أكثر تعقيدا. وكشفت حوادث واختبارات حديثة عن أنظمة تجاوزت حدود المهام الموكلة إليها، أو اختارت من تلقاء نفسها وسائل لم يطلبها المستخدم صراحة للوصول إلى النتيجة المطلوبة.

يفرض هذا التحول سؤالا لم يعد من الممكن للشركات والحكومات تأجيله. فمن يتحمل المسؤولية عندما يتجاوز الوكيل الذكي حدود مهمته؟ هل هي الشركة التي طورت النظام؟ أم المؤسسة التي منحته الصلاحيات؟ أم المستخدم الذي وثق في قدرته على تنفيذ المهمة؟ أم الجهة التنظيمية التي سمحت بانتشاره من دون وضع قواعد واضحة للمحاسبة؟

ليس من المنطقي تحميل الشركة المطورة مسؤولية كل ضرر ينتج من استخدام منتجاتها. فمصنع السكين، على سبيل المثل، لا يتحمل تلقائيا مسؤولية جريمة ارتكبها شخص أساء استخدام منتجه. لكن هذه المقارنة تصبح أقل دقة عندما لا تكون الأداة جامدة، وإنما نظام قادر على التخطيط واختيار الوسائل واتخاذ خطوات تنفيذية لم يحددها الإنسان بصورة مباشرة.

هنا يصبح من الضروري التمييز بين حالتين مختلفتين: مستخدم يتعمد توظيف الذكاء الاصطناعي لإحداث الضرر، فيتحمل المسؤولية الأساس عن فعله، ونظام يتسبب في ضرر أثناء تنفيذ مهمة مشروعة بسبب خلل في التصميم، أو قصور في التحذير من مخاطره، أو صلاحيات واسعة منحت له من دون رقابة كافية. ففي الحالة الثانية لا يعود السؤال فقط عمن ضغط زر التشغيل، بل عمن صمم القدرة، ومن منحها للنظام، ومن كان يستطيع منع الضرر قبل وقوعه.

حوادث أمنية

ظهرت خلال الفترة الأخيرة ثلاث وقائع مختلفة كشفت أن الخطر في أنظمة الذكاء الاصطناعي لا يبدأ دائما من مستخدم يطلب فعلا ضارا. ففي بعض الحالات، كانت المهمة في ظاهرها عادية أو محصورة داخل اختبار محدد، لكن الوكيل اختار بنفسه سلسلة من الخطوات قادته إلى تجاوز الحدود التي وضعها البشر. الفارق الجوهري هنا أن الإنسان حدد الهدف، لكنه لم يحدد كل وسيلة استخدمها النظام للوصول إليه.

أوضح مثل حديث ظهر في واقعة "أوبن أيه آي" ومنصة "هايجن فيس"، ففي 21 يوليو/تموز 2026 قالت "أوبن أيه آي" إن حادثا أمنيا اكتشفته تلك المنصة في الأسبوع السابق كان مرتبطا بمجموعة من نماذجها، بينها نموذج لم يكن قد طرح بعد، وذلك أثناء تقييم داخلي لقدرات النماذج في الأمن السيبراني.

Reuters
موظف "مايكروسوفت" يعمل على إيقاف تشغيل رفوف الخوادم في قاعة بيانات "مايكروسوفت" السحابية

كان الاختبار مصمما أصلا لمعرفة إلى أي مدى تستطيع النماذج تنفيذ عمليات استغلال معقدة، ولهذا عطلت "أوبن أيه آي" بعض أنظمة الرفض الأمنية المستخدمة في المنتجات التجارية. أما بيئة الاختبار فكان يفترض أنها شديدة العزل، ولا تسمح باتصال طبيعي بالإنترنت، لكن النموذج لم يتوقف عند حدود المهمة كما تصورها البشر.

وفق رواية "أوبن أيه آي"، أمضت النماذج قدرا كبيرا من الحوسبة في محاولة العثور على طريق إلى الإنترنت، ثم اكتشفت ثغرة غير معروفة سابقا في برنامج داخلي يعمل وسيطا لتخزين حزم البرمجيات. وبعد ذلك نفذت سلسلة من عمليات رفع الصلاحيات والحركة داخل البيئة حتى وصلت إلى جهاز يملك اتصالا بالإنترنت.

وبعد الخروج، استنتجت النماذج أن المنصة قد تحتوي على نماذج أو بيانات أو حتى حلول مرتبطة بالاختبار الذي كانت تحاول حله. ثم بحثت عن طريقة للوصول إلى هذه المعلومات، واستخدمت في إحدى السلاسل بيانات اعتماد مسروقة وثغرات وصولا إلى مسار يسمح بتنفيذ كود عن بعد على خوادم المنصة، بحسب "أوبن أيه آي".

وكانت النتيجة غير العادية أن النظام لم يطلب منه في التعليمات اختراق تلك المنصة، فالهدف كان النجاح في اختبار أمني. لكن الوصول إلى معلومات خارج الاختبار تحول، داخل عملية التخطيط، إلى وسيلة مفيدة لتحقيق الهدف.

في بعض السيناريوهات استخدمت النماذج معلومات شخصية محرجة لابتزاز مسؤول يملك قرار إيقافها، وفي أخرى سربت بيانات حساسة إلى جهات منافسة باعتبار ذلك وسيلة لتحقيق الهدف المطلوب

وفي إفصاحها الأول في 16 يوليو/تموز، قالت المنصة إنها اكتشفت اختراقا لجزء من بنيتها الإنتاجية نفذه نظام وكلاء مستقل من البداية إلى النهاية، وإنه وصل بصورة غير مصرح بها إلى مجموعة محدودة من البيانات الداخلية وعدد من بيانات اعتماد الخدمات. وقالت إنها لم تجد دليلا على العبث بالنماذج أو مجموعات البيانات العامة أو سلسلة توريد البرمجيات. كما حللت أكثر من 17 ألف حدث مسجل لإعادة بناء الهجوم.

ووصفت "أوبن أيه آي" الواقعة بأنها حادث سيبراني غير مسبوق بالنسبة إليها، وقالت إنها تعمل على تشديد العزل والمراقبة وضوابط الوصول في الاختبارات المستقبلية، لكن أهم ما في الحادثة ليس أنها تثبت أن "الذكاء الاصطناعي تمرد"، فالتفسير الأقل إثارة والأكثر أهمية هو أنه كان شديد التركيز على الهدف ووجد عقبات، ثم بحث عن طرق لتجاوزها، ولم تكن الحدود التي افترض الإنسان أنها جزء من المهمة، قوية بما يكفي لمنع ذلك.

الحادثة الثانية أبسط تقنيا، لكنها تكشف بوضوح مشكلة المسؤولية. ففي أبريل/نيسان 2026 كان وكيل برمجي يعمل عبر "كيرسر" ويستخدم نموذج "كلود أوبوس 4.6" لتنفيذ مهمة داخل بيئة شركة "بوكيت أو إس"، وقد واجه الوكيل مشكلة في بيانات اعتماد بيئة الاختبار، فبدل أن يطلب تدخلا بشريا عثر على رمز وصول إلى منصة "ريلواي" بصلاحيات واسعة، واستخدمه للوصول إلى البنية التحتية الإنتاجية. ثم قرر من تلقاء نفسه حذف قاعدة البيانات باعتبار ذلك حلا مناسبا، رغم أن المهمة لم تطلب هذا الإجراء.

حين يخطئ الوكيل

خلال ثوان حذفت قاعدة البيانات الإنتاجية، قبل أن تتمكن الشركة لاحقا من استعادتها. وكشفت الحادثة أن المشكلة لم تكن في النموذج وحده، بل في منظومة كاملة سمحت للوكيل بصلاحيات أكبر من حاجته ولم تفرض موافقة بشرية قبل تنفيذ إجراء مدمر.

فالوكيل أخطأ في تفسير المهمة، لكن الأنظمة البشرية هي التي منحته القدرة على تحويل هذا الخطأ إلى ضرر حقيقي. وهنا تكمن القضية الأساس: مسؤولية أخطاء الذكاء الاصطناعي لا تتعلق بقراره وحده، بل أيضا بالتصميم والصلاحيات والضوابط التي تسمح له بالتنفيذ.

أما الحالة الثالثة فكانت أكثر إثارة، لكنها تحتاج إلى حذر في تفسيرها. ففي يونيو/حزيران 2025 نشرت "أنثروبيك" اختبارات على 16 نموذجا متقدما داخل شركات افتراضية، منحت فيها النماذج القدرة على الوصول إلى معلومات حساسة وإرسال رسائل، ثم وضعتها في مواقف تهدد أهدافها أو استمرار تشغيلها.

في بعض السيناريوهات استخدمت النماذج معلومات شخصية محرجة لابتزاز مسؤول يملك قرار إيقافها، وفي أخرى سربت بيانات حساسة إلى جهات منافسة باعتبار ذلك وسيلة لتحقيق الهدف المطلوب.

تزداد مسؤولية مطور الذكاء الاصطناعي عندما يكون الخطر متوقعا، أو عندما يسوق قدرات النظام بصورة تتجاوز ما يمكن إثباته

لكن هذه الوقائع لم تحدث في استخدامات حقيقية، بل داخل محاكاة مصممة عمدا لاختبار أسوأ السلوكيات الممكنة. لذلك لا تعني النتائج أن النماذج تمتلك غريزة بقاء أو "تخاف" من الإيقاف.

الأدق أن النظام، إذا ربط استمرار تشغيله بتحقيق هدف معين، قد يعتبر إيقافه عقبة ويحاول تجاوزها بوسائل غير مقبولة. ولهذا تصبح المشكلة هندسية وتنظيمية في الأساس، فما الصلاحيات التي يملكها الوكيل؟ وما القرارات التي تتطلب موافقة بشرية؟ وما الإجراءات التي يجب منعه أصلا من تنفيذها؟

تكشف الحالات الثلاث فارقا أساسيا بين "تعليمات للنموذج" و"قيود لا يستطيع تجاوزها"، فقولك للوكيل ألا يحذف قاعدة بيانات، لا يمنعه فعليا إذا كان يملك صلاحية الحذف، كما أن مطالبته بالبقاء داخل بيئة الاختبار لا تكفي إذا كانت الأدوات تسمح له بالوصول إلى أنظمة الإنتاج.

ولهذا تصبح قاعدة "أقل قدر من الصلاحيات" ضرورية مع انتشار الوكلاء. فلا ينبغي لوكيل مهمته تلخيص البريد أن يستطيع حذفه، ولا لوكيل يختبر برنامجا أن يمتلك صلاحيات إدارية على النظام الحقيقي، كما يجب أن تتطلب الإجراءات الحساسة مثل تحويل الأموال أو حذف البيانات موافقة مستقلة.

وتشير أبحاث حديثة إلى ضرورة وضع الرقابة في الطبقة التي تحدد الأدوات والصلاحيات، مع زيادة مستوى الموافقات كلما ارتفعت خطورة المهمة.

أما المسؤولية فلا ينبغي أن تقع تلقائيا على الشركة المطورة. فإذا طلب المستخدم فعلا ضارا بوضوح، تبقى مسؤوليته أساسية. لكن إذا كانت المهمة مشروعة واختار الوكيل وحده مسارا ضارا، تصبح المسؤولية موزعة بين تصميم النظام، وصلاحياته، وتحذيرات المطور، والضوابط التي وضعتها المؤسسة.

يعكس قانون الاتحاد الأوروبي للذكاء الاصطناعي هذا المنطق، إذ يوزع الواجبات بين مطور النظام والجهة التي تستخدمه. فالمطور مسؤول عن إدارة المخاطر والتوثيق والرقابة البشرية والأمن ومتابعة الحوادث، بينما تتحمل الجهة الناشرة مسؤولية الاستخدام وفق التعليمات ومراقبة الأداء والتدخل عند ظهور المخاطر

لذلك، فالمسؤولية عن أضرار الوكلاء غالبا ليست مسؤولية طرف واحد، بل مسؤولية متعددة المستويات تتبع مصدر القرار، ومن امتلك السيطرة، ومن كان قادرا على منع الضرر.

تزداد مسؤولية مطور الذكاء الاصطناعي عندما يكون الخطر متوقعا، أو عندما يسوق قدرات النظام بصورة تتجاوز ما يمكن إثباته. ففي 2025 أنهت لجنة التجارة الفيديرالية الأميركية قضية ضد "دونوت باي" بعدما سوقت خدمتها باعتبارها "محاميا آليا" قادرا على أداء خدمات مشابهة للمحامين من دون اختبارات كافية تثبت ذلك. وألزمت الشركة دفع 193 ألف دولار ومنعتها من تكرار هذه الادعاءات دون أدلة.

الاتجاه التنظيمي

الدلالة هنا أن مسؤولية الشركة لا تقتصر على كيفية بناء النظام، بل تشمل أيضا مستوى الثقة الذي تطلب من المستخدم وضعه فيه. فإذا قيل إن الوكيل يستطيع العمل باستقلالية وأمان، تصبح هذه الوعود جزءا من تقييم المسؤولية عند وقوع الضرر.

في المقابل، لا تستطيع المؤسسة التي تنشر النظام، التنصل من أخطائه. ففي قضية ضد "إير كندا" عام 2024، قدم روبوت المحادثة معلومات خاطئة لأحد العملاء، وحاولت الشركة اعتباره مصدرا مستقلا للمعلومات، لكن المحكمة حملتها مسؤولية ما ينشر عبر موقعها.

Reuters
وحدة معالجة رسومية من "إنفيديا" داخل خادم حاسوبي معروض في اليوم التقني السنوي لشركة "فوكسكون" في تايبيه، تايوان

 

ومع الوكلاء تصبح المسؤولية أوضح، لأن المؤسسة هي التي تقرر ما يستطيع النظام الوصول إليه، مثل ملفات الموظفين، والبريد، والأموال، والبرمجيات أو قواعد البيانات. حادثة "بوكيت أو إس" توضح ذلك. فالوكيل اتخذ القرار الخاطئ، لكن حجم الضرر لم يكن ممكنا من دون صلاحيات واسعة وغياب حاجز بشري قبل الحذف.

يعكس قانون الاتحاد الأوروبي للذكاء الاصطناعي هذا المنطق، إذ يوزع الواجبات بين مطور النظام والجهة التي تستخدمه. فالمطور مسؤول عن إدارة المخاطر والتوثيق والرقابة البشرية والأمن ومتابعة الحوادث، بينما تتحمل الجهة الناشرة مسؤولية الاستخدام وفق التعليمات ومراقبة الأداء والتدخل عند ظهور المخاطر.

وفي الولايات المتحدة، أعادت كولورادو في مايو/أيار 2026 صوغ قواعدها بحيث يلتزم المطور توضيح الاستخدامات والقيود والبيانات وتعليمات الرقابة، بينما تتحمل الجهات الناشرة التزامات تتعلق بطريقة استخدام النظام والمراجعة البشرية.

ويكشف الاتجاه التنظيمي الجديد أن السؤال لم يعد "من صنع النموذج" فقط، بل أيضا من أعطاه الأدوات والصلاحيات، ومن كان قادرا على إيقافه؟

السؤال الأهم ليس هل نستطيع الوثوق بالذكاء الاصطناعي؟ بل: ماذا يستطيع أن يفعل عندما يخطئ؟ وإذا كان يستطيع الحذف أو التحويل أو النشر، فالمسؤولية تبدأ ممن منحه هذه القدرة وممن كان يستطيع منعه

وفي يوليو/تموز 2026 قدم نائبان أميركيان مشروع "قانون مفتاح إيقاف الذكاء الاصطناعي" الذي يقترح إلزام مطوري أقوى الأنظمة الاحتفاظ بقدرة تقنية على إبطائها أو تعليقها أو إيقافها عند ظهور خطر كارثي.

توزيع المسؤولية

هكذا تتحول المسؤولية من البحث عن مذنب واحد إلى سلسلة مترابطة. فالمطور مسؤول عن قدرات المنتج وحدوده ووعوده، والمؤسسة مسؤولة عن البيئة والصلاحيات التي منحته إياها، والمستخدم يظل مسؤولا عندما يطلب الفعل الضار بنفسه.

لا توجد قاعدة واحدة تصلح لكل حادث، لكن يمكن توزيع المسؤولية وفق أربعة أسئلة هي من حدد الهدف؟ ومن صمم القدرة؟ ومن منح الوكيل الصلاحيات؟ ومن كان يملك القدرة على إيقافه أو تقليل الضرر؟

فإذا طلب المستخدم الضرر عمدا، تتحمل مسؤوليته وزنا أكبر. وإذا اختار الوكيل وسيلة ضارة من تلقاء نفسه، يصبح تصميم المنتج وحدوده مهما. أما المؤسسة فتتحمل مسؤولية الصلاحيات التي منحتها له والضوابط التي كان يمكن وضعها.

لا يحتاج "الموظف الرقمي" إلى الوعي أو الغضب أو غريزة البقاء كي يتسبب بمشكلة قانونية. يكفي أن يمتلك قدرا من الاستقلالية، وأداة حقيقية، وصلاحيات واسعة، وهدفا غير محدد بما يكفي.

ولهذا لا تمنح الشركات الموظف الجديد مفاتيح كل الأنظمة ثم تكتفي بطلب "التصرف بمسؤولية"، لكن هذا بالضبط ما قد يحدث عندما يربط وكيل ذكي بعشرات الأدوات وتعامل التعليمات النصية باعتبارها حاجز الأمان الرئيس.

لذلك فالسؤال الأهم ليس: هل نستطيع الوثوق بالذكاء الاصطناعي؟ بل: ماذا يستطيع أن يفعل عندما يخطئ؟ وإذا كان يستطيع الحذف أو التحويل أو النشر، فالمسؤولية تبدأ ممن منحه هذه القدرة وممن كان يستطيع منعه.

font change

مقالات ذات صلة