#

النقاط الرئيسية

• يطرح GPT-Red اختبار الأمان بوصفه مهمة هندسية، لا مراجعة لمرة واحدة.

• يمكن لفرق الذكاء الاصطناعي المغربية استخدام هذه الفكرة للمساعدين والوكلاء والأنظمة المواجهة للعملاء.

• تستحق هجمات حقن الأوامر ومحاولات التلاعب اهتمامًا في التطبيقات الواقعية.

• ينبغي أن تهدف الدفاعات الأقوى إلى الحفاظ على القدرات، لا مجرد حظر السلوك.

• ما تزال الفرق بحاجة إلى البيانات والمهارات والحوكمة وضوابط الخصوصية.

ما الذي نشرته OpenAI

نشرت OpenAI *GPT-Red: Unlocking Self-Improvement for Robustness

• ووصفت red-teamers آليين للأمان جرى تدريبهم عبر التعلم الذاتي. الهدف هو تحسين المتانة مع الحفاظ على قدرة النموذج كما هي. كما تتناول الورقة محادثات حقن الأوامر ودراسات حالة واقعية في red-teaming.

بالنسبة إلى القراء المغاربة، الفكرة الأساسية عملية. فاختبار الأمان ليس مجرد نقاش حول السياسات، بل هو أيضًا عملية هندسية يمكن إدراجها في دورات تطوير منتجات الذكاء الاصطناعي.

لماذا يهم هذا في المغرب

من المرجح أن تواجه فرق الذكاء الاصطناعي المغربية المخاطر الأساسية نفسها التي يواجهها البناؤون الآخرون. إذا كان النظام يتعامل مع طلبات العملاء أو سير العمل الداخلي أو المهام الشبيهة بالوكلاء، فقد يتعرض للتلاعب. ويشمل ذلك محاولات تجاوز التعليمات، أو استخراج سياق مخفي، أو دفع النموذج إلى سلوك غير آمن.

ويزداد هذا أهمية عندما تعمل الفرق في بيئات متعددة اللغات. غالبًا ما تحتاج المنتجات المغربية إلى التعامل مع العربية والفرنسية وأحيانًا الإنجليزية في سير العمل نفسه. وقد يخلق هذا المزيج اللغوي فجوات في الاختبار إذا كان red-teaming يغطي لغة واحدة فقط أو نمطًا واحدًا من مدخلات المستخدم.

حالات استخدام عملية للبنّائين المغاربة

يمكن أن يساعد نهج على طريقة GPT-Red الفرق على اختبار المساعدين قبل الإطلاق. على سبيل المثال، يمكن فحص روبوت دعم ضد محاولات حقن الأوامر التي تحاول تغيير سلوكه. ويمكن اختبار وكيل سير العمل لمعرفة كيفية استجابته عندما يحاول المستخدم توجيهه بعيدًا عن المهام المعتمدة.

وقد يساعد هذا النهج أيضًا الفرق التي تبني أدوات داخلية. فالنموذج الذي يستخدمه الموظفون يمكن أن يتعرض للتلاعب إذا تلقى نصًا غير موثوق، أو مستندات منسوخة، أو محتوى من إنشاء المستخدمين. وبالنسبة إلى المؤسسات المغربية، يعني ذلك أن اختبار الأمان يجب أن يغطي الأنظمة المواجهة للجمهور والأنظمة الداخلية معًا.

السياق المغربي: ما الذي ينبغي أن تفكر فيه الفرق

ستحتاج الفرق المغربية إلى تكييف هذه الفكرة مع القيود المحلية. قد تكون وفرة البيانات محدودة، لذا قد تكون مجموعات red-teaming صغيرة في البداية. كما يمكن أن تؤثر المشتريات على الأدوات المتاحة، خاصة للفرق التي تعتمد على نماذج من جهات خارجية أو خدمات سحابية.

تمثل المهارات قيدًا آخر. فـ red-teaming الآلي ما يزال يحتاج إلى أشخاص قادرين على تحديد أنماط الفشل، ومراجعة المخرجات، وتحديد ما الذي يُعد خطرًا حقيقيًا. كما أن البنية التحتية مهمة أيضًا، لأن الاختبار المتكرر قد يتطلب موارد حوسبة وتسجيلًا ومراقبة.

ويعد مزيج اللغات مهمًا كذلك. فقد تفشل مجموعة اختبار تعمل بلغة واحدة في اكتشاف أخطاء في لغة أخرى. وبالنسبة إلى البنّائين المغاربة في مجال الذكاء الاصطناعي، يعني ذلك أن تغطية الأمان يجب أن تعكس قاعدة المستخدمين الفعلية، لا مجموعة بيانات مثالية.

المخاطر والحوكمة

يشير GPT-Red إلى اتجاه مفيد، لكنه لا يلغي الحاجة إلى الحوكمة. يمكن لـ red-teamers الآليين المساعدة في العثور على نقاط الضعف، لكن الفرق ما تزال بحاجة إلى مراجعة بشرية. كما تحتاج إلى قواعد واضحة بشأن ما الذي يُختبر، وما الذي يُسجل، ومن يمكنه الوصول إلى النتائج.

ينبغي أن تكون الخصوصية والأمن السيبراني جزءًا من العملية. غالبًا ما يستخدم red-teaming محادثات واقعية، وقد تشبه هذه المحادثات بيانات المستخدم الحقيقية. وستحتاج الفرق المغربية إلى تجنب كشف المعلومات الحساسة أثناء الاختبار والتخزين.

كما أن الامتثال مهم أيضًا، حتى عندما لا تذكر المادة المصدرية قواعد محددة. فأي مؤسسة تنشر الذكاء الاصطناعي في المغرب ستحتاج إلى مواءمة اختبار الأمان مع سياساتها الداخلية والتزاماتها القانونية. ويشمل ذلك التحكم في الوصول، وممارسات الاحتفاظ، والتعامل مع الحوادث.

كيفية تطبيق الفكرة عمليًا

تتمثل نقطة البداية الجيدة في التعامل مع red-teaming بوصفه سير عمل قابلًا للتكرار. يمكن للفرق تحديد أنماط الهجوم الشائعة، واختبارها عبر اللغات، وتسجيل مواضع فشل النموذج. ثم يمكنها تحسين المطالبات أو المرشحات أو الضوابط أو تعليمات النظام، ثم الاختبار مرة أخرى.

ينبغي أن يظل هذا المسار مركزًا على القدرة بقدر تركيزه على الأمان. تؤكد منشورات OpenAI على الحفاظ على القدرة مع تحسين المتانة. وبالنسبة إلى الفرق المغربية، فإن هذا التوازن مهم لأن النظام الذي يصبح مقيدًا أكثر من اللازم قد يفقد قيمته التجارية.

كما ينبغي للفرق أن تبقي النطاق واقعيًا. فليس كل منتج يحتاج إلى العمق نفسه في الاختبار. قد يحتاج كل من روبوت الدردشة العام، والمساعد الوثائقي، والوكيل الداخلي إلى ضوابط مختلفة. ويعتمد المستوى المناسب من الاختبار على مخاطر المهمة.

ما الذي يمكن لفرق الذكاء الاصطناعي المغربية فعله بعد ذلك

ابدأ بحالات الاستخدام الأعلى خطرًا. يجب أن تكون الأولوية للمساعدين المواجهين للعملاء، ووكلاء سير العمل، والأدوات التي تعالج محتوى المستخدم. ثم ارسم مسارات التلاعب الأكثر احتمالًا، بما في ذلك محاولات حقن الأوامر وتجاوز التعليمات.

بعد ذلك، ابنِ مجموعة صغيرة من red-teaming تعكس الاستخدام المغربي. أدرج اللغات والنبرة وأنواع المهام التي يجلبها المستخدمون فعليًا. وإذا كانت لدى الفريق خبرة داخلية غير كافية، فقد يحتاج إلى تدريب الموظفين أو الاستعانة بمراجعة خارجية، لكن ينبغي التعامل مع ذلك بوصفه افتراضًا لا أمرًا مسلمًا به.

وأخيرًا، اجعل اختبار الأمان جزءًا من تخطيط الإطلاق. إذا تغير النموذج، فيجب أن تتغير مجموعة red-teaming أيضًا. وإذا توسع المنتج إلى مستخدمين جدد أو لغات جديدة، فيجب أن يتوسع الاختبار كذلك.

الخلاصة

يذكّرنا GPT-Red بأن أمان الذكاء الاصطناعي يمكن هندسته وقياسه وتحسينه. وبالنسبة إلى البنّائين المغاربة في مجال الذكاء الاصطناعي، فهذا منظور مفيد. فهو يقترح مسارًا عمليًا لاختبار المساعدين والوكلاء قبل وصولهم إلى المستخدمين.

والتحدي ليس تقنيًا فقط. فهو يشمل أيضًا البيانات، والتغطية اللغوية، والمهارات، والبنية التحتية، والخصوصية، والأمن السيبراني، والامتثال. وقد تكون الفرق التي تخطط لهذه القيود مبكرًا في وضع أفضل لنشر أنظمة ذكاء اصطناعي أكثر أمانًا في المغرب.