الكشف عن أداة جديدة لحماية نماذج الذكاء الاصطناعي للمؤسسات

  • كتب : غادة حلمي

    كشفت شركة سايبر أرك" CYBR" ، المتخصصة في مجال أمن الهويات، عن إطلاق "فازي إي آي" (FuzzyAI) وهي أداة مفتوحة المصدر تساعد المؤسسات على تحديد نقاط ضعف نماذج الذكاء الاصطناعي مثل تجاوز جدران الحماية وتوليد مخرجات خبيثة في نماذج الذكاء الاصطناعي المُستضافة على السحابة أو الداخلية في المؤسسات، ومن ثم معالجة نقاط الضعف هذه.

    تسهم نماذج الذكاء الاصطناعي في إحداث تحول في القطاعات من خلال التطبيقات المبتكرة في تفاعلات العملاء، وتحسين العمليات الداخلية، ونشر الأتمتة. وينطوي الاستخدام الداخلي لهذه النماذج على تحديات أمنية جديدة قد لا تكون معظم المؤسسات على استعداد لها بعد.

    وتساعد أداة (FuzzyAI) في إيجاد حلول لعدد من هذه التحديات من خلال تزويد المؤسسات بتوجه منهجي لاختبار نماذج الذكاء الاصطناعي فيما يخص المدخلات العدائية المختلفة، وكشف نقاط الضعف المحتملة في أنظمة الأمان الخاصة بها، وجعل تطوير الذكاء الاصطناعي ونشره أكثر أمناً. وتشتمل (FuzzyAI) على جهاز تشويش قوي يستطيع كشف عيوب البرمجيات ونقاط ضعفها، وهي قادرة على كشف نقاط الضعف من خلال أكثر من 10 أساليب هجوم مختلفة، بدءاً من تجاوز الفلاتر الأخلاقية وصولاً إلى كشف مجموعة الأوامر المخفية في الأنظمة. وتشمل قائمة الخصائص التي تتمتع بها أداة (FuzzyAI) ما يلي التشويش الشامل: تقوم (FuzzyAI) بفحص نماذج الذكاء الاصطناعي عبر استخدام أساليب هجومية مختلفة بهدف الكشف عن نقاط الضعف مثل تجاوز جدران الحماية، أو تسريب المعلومات، أو حقن الأوامر (prompt injection)، أو توليد مخرجات ضارة.

    إطار عمل قابل للتوسيع: يمكن للمؤسسات والباحثين إضافة أساليب هجومية خاصة بهم من أجل تصميم اختبارات مخصصة للثغرات الأمنية في المجالات المختلفة بجانب "التعاون المجتمعي" تضمن المنظومة المتنامية التي يقودها المجتمع تحقيق تقدم مستمر في الأساليب المعادية والآليات الدفاعية.

     

    من قال جهته بيريتس ريجيف، الرئيس التنفيذي لشؤون المنتجات لدى "سايبر أرك": "يسلط إطلاق (FuzzyAI) الضوء على التزام ’سايبر أرك‘ بأمن الذكاء الاصطناعي، ويساعد المؤسسات على المضي قدماً في معالجة المسائل الأمنية المتأصلة في مجال استخدام نماذج الذكاء الاصطناعي دائم التطور. وقد تم تطوير أداة (FuzzyAI) من قبل مختبرات سايبر أرك، وأثبتت قدرتها على كسر حماية كل نموذج ذكاء اصطناعي رئيسي تم اختباره.

     وتسهم (FuzzyAI) في تمكين المؤسسات والباحثين من تحديد نقاط ضعف أنظمة الذكاء الاصطناعي لديهم ومن ثم تقويتها بفعالية في مواجهة التهديدات الناشئة وتتوفر أداة (FuzzyAI) كبرمجية مفتوحة المصدر على صفحة "جيت هب" (GitHub) من "مختبرات سايبر أرك" (CyberArk Labs).

     

    حمّل تطبيق Alamrakamy| عالم رقمي الآن