EN हि ES FR AR
SOC 2 · ISO 27001 · موطن البيانات عند الطلب
A.25الأمن

الأمن السيبراني للذكاء الاصطناعي في المؤسسات: المخاطر والتهديدات وأفضل الممارسات

دليل عملي لتأمين استخدام الموظفين للذكاء الاصطناعي وبيانات الشركة وأنظمة الذكاء الاصطناعي، دون التعامل مع كل أداة جديدة وكأنها أزمة.

الأمن السيبراني للذكاء الاصطناعي ليس برنامجاً أمنياً منفصلاً، بل هو تطبيق ممارسات أمنية سليمة على الأنظمة الجديدة وتدفقات البيانات الجديدة وطرق تفاعل الأشخاص مع البرمجيات. تستخدم المؤسسات اليوم مساعدين للذكاء الاصطناعي لصياغة الرسائل والبحث في المعرفة الداخلية وتحليل المستندات وتشغيل سير العمل. وقد يغيّر كل استخدام مسار المعلومات وما يُسمح لشخص أو نظام آلي بفعله. والهدف هو فهم هذه التغييرات وحماية ما يهم وإبقاء الذكاء الاصطناعي المفيد ضمن حدود واضحة.

أهمية الأمن السيبراني للذكاء الاصطناعي في المؤسسات

تعالج أنظمة الذكاء الاصطناعي كميات كبيرة من النصوص والرموز البرمجية والصور والصوت وسجلات الأعمال. وقد تتصل بمستودعات المستندات والبريد الإلكتروني وأنظمة العملاء وأدوات البرمجيات أو المواقع العامة. وهذا يجعلها جزءاً من بيئة المعلومات والهوية في المؤسسة، لا مجرد نافذة محادثة. ينبغي لمراجعة الأمن أن تطرح الأسئلة المعتادة: ما البيانات التي تدخل؟ وأين تُعالَج؟ ومن يستطيع استرجاعها؟ وما الإجراءات الممكنة؟ وكيف يُسجَّل النشاط؟ ويضع ملف NIST للذكاء الاصطناعي التوليدي أمن الذكاء الاصطناعي ضمن إدارة أوسع للمخاطر تشمل التصميم والاستخدام والتقييم. ملف NIST لإدارة مخاطر الذكاء الاصطناعي التوليدي

لا تقتصر المخاطر على استهداف النموذج بهجوم. فقد يلصق موظف سجل عميل في أداة غير معتمدة، أو يسترجع مساعد ذكاء اصطناعي مستنداً باستخدام أذونات أوسع من أذونات الموظف نفسه، أو يقبل سير العمل نصاً مولداً باعتباره أمراً لتحديث سجل أو إرسال رسالة. هذه مشكلات مألوفة في أمن المعلومات والتحكم في الوصول ضمن سياق جديد. ومن المفيد البدء برسم خريطة لخدمة الذكاء الاصطناعي والبيانات المتصلة والهويات المعنية وأي إجراء يستطيع النظام تنفيذه. وتغطي إرشادات NCSC لتطوير أنظمة الذكاء الاصطناعي الآمنة ممارسات ذات صلة، منها فهم المخاطر ونمذجة التهديدات وإدارة الأصول. إرشادات NCSC لتطوير أنظمة ذكاء اصطناعي آمنة

لذلك ينبغي للمؤسسات إظهار استخدام الذكاء الاصطناعي قبل محاولة ضبطه. أعدّوا جرداً للمنتجات المعتمدة والنماذج الداخلية وإضافات المتصفح وميزات الوكلاء وواجهات API والتكاملات. واسألوا فرق الأعمال عن الأدوات التي تستخدمها والمهام التي تتوقع من الذكاء الاصطناعي إنجازها. لا يُعالَج استخدام الذكاء الاصطناعي الخفي بحظر شامل إذا ظل الموظفون بحاجة إلى إنجاز العمل؛ فالخيارات المعتمدة الواضحة والمسار السريع لطلب المراجعة أكثر فائدة. حدّثوا الجرد مع إضافة المنتجات ميزات جديدة، لأن مساعد الكتابة الذي يحصل لاحقاً على إمكانية الوصول إلى الملفات أو الأدوات تصبح له مخاطر أمنية مختلفة.

التهديدات السيبرانية الشائعة المرتبطة بالذكاء الاصطناعي

التصيد الاحتيالي وانتحال الهوية بمساعدة الذكاء الاصطناعي

قد تساعد الأدوات التوليدية المجرم على كتابة رسالة تبدو معقولة أو تكييف صياغتها لمتلقيها أو إعداد نصوص لانتحال الهوية. لا يعني ذلك أن كل رسالة أصبحت أكثر إقناعاً، ولا أنه يلغي علامات التحذير المعروفة. لكنه يعني أن القواعد اللغوية والنبرة وحدهما معياران ضعيفان للحكم على صحة الطلب. تعاملوا مع التغيير غير المتوقع في الدفع أو إعادة تعيين كلمة المرور أو طلب ملف حساس أو الموافقة العاجلة باعتبارها مسألة إجراءات، لا لغزاً في أسلوب الكتابة. استخدموا قناة موثوقة ثانية ومسار الموافقة المعتمد في المؤسسة.

يمكن أيضاً التلاعب بالصوت والفيديو أو توليدهما اصطناعياً. يجب ألا يتمكن متصل يبدو صوته كصوت مسؤول تنفيذي من تجاوز ضوابط الدفع أو كشف بيانات الاعتماد أو تخطي قاعدة الموافقة من شخصين. اتفقوا على إجراءات للتحقق قبل وقوع حادث: أعيدوا الاتصال برقم من دليل المؤسسة، وأكدوا الطلب عبر سير العمل المعتاد، واشترطوا موافقة مستقلة على الإجراءات عالية الأثر. وللتوضيح، يتلقى موظف مالي رسالة صوتية مألوفة تطلب تغيير مورد في اليوم نفسه. يتريث الموظف ويتصل بالرقم المعروف ويتحقق مع معتمد ثانٍ بدلاً من التصرف بناءً على التسجيل.

انكشاف البيانات عبر المطالبات والخدمات المتصلة

عندما يرسل الموظفون مطالبات أو ملفات أو سجل محادثات إلى خدمة ذكاء اصطناعي، تغادر المعلومات حدود التطبيق الأصلي. وتعتمد طريقة التعامل معها على المنتج ونوع الحساب والعقد والإعدادات والتكاملات المتصلة. ينبغي للمؤسسة التحقق من مدة الاحتفاظ وإعدادات تحسين النموذج والضوابط الإدارية والمعالِجين الفرعيين وموقع البيانات وشروط الحذف، لا افتراض أن جميع منتجات الذكاء الاصطناعي تعمل بالطريقة نفسها. وقد تظهر معلومات حساسة أيضاً في الإجابات المولدة إذا استطاع النظام استرجاع بيانات لا ينبغي للمستخدم الحالي الاطلاع عليها. وتعد OWASP إفشاء المعلومات الحساسة من المخاطر الرئيسية لتطبيقات الذكاء الاصطناعي التوليدي. قائمة OWASP لأهم 10 مخاطر لتطبيقات النماذج اللغوية الكبيرة

في مثال توضيحي، لنتصور موظفاً يطلب من روبوت محادثة غير معتمد تلخيص جدول بيانات يحتوي على أسماء العملاء وملاحظات الحالات. ليس السؤال المباشر هو ما إذا كان النموذج سيحفظ الملف في ذاكرته، بل أسئلة محددة: هل الخدمة معتمدة لهذه البيانات؟ ومن يستطيع الوصول إلى المطالبة والناتج؟ وكم مدة الاحتفاظ بهما؟ وهل يتضمن الملف معلومات أكثر مما تتطلبه المهمة؟ يفيد تقليل البيانات في جميع الإعدادات: احذفوا المعرّفات أو استخدموا مقتطفاً صغيراً أو أمثلة اصطناعية عندما لا تكون السجلات الحقيقية ضرورية.

حقن المطالبات والتعليمات الخبيثة

قد يعالج مساعد الذكاء الاصطناعي تعليمات مضمنة في بريد إلكتروني أو صفحة ويب أو صورة أو مستند. وقد تحاول تعليمات خبيثة دفع المساعد إلى تجاهل مهمته المقصودة أو كشف معلومات أو استخدام أداة متصلة بطريقة غير متوقعة. ويُسمى ذلك حقن المطالبات. وتزداد أهميته عندما يمزج النظام التعليمات الموثوقة بالمحتوى الذي يسترجعه من مصادر خارجية. تعاملوا مع المحتوى المسترجع كمدخل غير موثوق، وأبقوا الأذونات خارج النموذج، واجعلوا التطبيق يتحقق من كل إجراء مقترح. وتوضح OWASP أن حقن المطالبات قد يؤثر في الأنظمة التي تستخدم الاسترجاع أو محتوى خارجياً آخر. مخاطر حقن المطالبات لدى OWASP

إساءة الاستخدام والمكونات المخترقة والمخرجات غير الآمنة

قد يسيء شخص من داخل المؤسسة أو مهاجم خارجي استخدام الذكاء الاصطناعي، تماماً كما يمكن إساءة استخدام البريد الإلكتروني ومحررات الشيفرة البرمجية ووحدات التحكم السحابية وغيرها من الأدوات المشروعة. وتعتمد أنظمة الذكاء الاصطناعي أيضاً على النماذج ومجموعات البيانات والإضافات والمكتبات وخدمات الاستضافة وواجهات API. وقد يكشف التكامل الضعيف أو المكوّن التابع المخترق معلومات تتجاوز عيباً في النموذج. وقد تكون الشيفرة أو التعليمات المولدة غير صحيحة أو غير آمنة، لذا راجعوها قبل تنفيذها أو استخدامها في قرار ذي عواقب. ينبغي لفرق الأمن إدراج مكونات الذكاء الاصطناعي ضمن مراجعة الموردين وإدارة الثغرات وضبط التغيير والاستجابة للحوادث المعتادة، بدلاً من إنشاء عملية منفصلة بلا مسؤولين.

مخاطر الأمن عند استخدام الموظفين ChatGPT وأدوات الذكاء الاصطناعي الأخرى

يلجأ الموظفون غالباً إلى أداة ذكاء اصطناعي لأنها توفر الوقت في مهمة فعلية. لكن سياسة تقتصر على «لا تُدخل بيانات سرية» تترك أسئلة مهمة بلا إجابة: ما الأدوات المعتمدة؟ وما الذي يُعد سرياً؟ وكيف يُطلب الوصول؟ وماذا يُفعل إذا كانت الأداة متصلة أصلاً بملفات الشركة؟ قدّموا للموظفين سياسة موجزة وعملية تتضمن أمثلة. فمثلاً، قد يكون نص منتج منشور مقبولاً في مساعد معتمد، بينما تتطلب معرّفات العملاء والشيفرة المصدرية وبيانات الاعتماد والمسودات القانونية والمعلومات المالية غير المعلنة موافقة صريحة أو يجب عدم إدخالها.

لا تفترضوا أن الحساب الشخصي والحساب الذي تديره المؤسسة يوفّران الضوابط نفسها. تحققوا من شروط الخدمة وإعداداتها الفعلية، ثم وثّقوا ما تحققتم منه. تأكدوا مما إذا كان بإمكان المسؤولين إدارة الحسابات والمصادقة والاحتفاظ ومشاركة البيانات والإضافات وسجلات التدقيق. وإذا وصل الموظفون أداة بمحرك أقراص سحابي أو نظام مراسلة، فتحققوا من الأذونات الممنوحة وراجعوها عند تغير الأدوار. عطّلوا الموصلات الاختيارية غير اللازمة. اجعلوا الوصول متوافقاً مع صلاحيات الموظف الحالية، وأتيحوا إلغاء الجلسات والرموز بسرعة.

ينبغي للتدريب أن يعلّم إجراءات عملية لا شعارات. وضحوا للموظفين كيفية تمييز الأدوات المعتمدة وإزالة البيانات غير الضرورية من المطالبة والتحقق من المحتوى المولد والإبلاغ عن الاشتباه في انكشاف البيانات. وأكدوا أن الإجابة المولدة ليست دليلاً على الحقيقة أو الصلاحية أو الموافقة. ومن الأمثلة التوضيحية استخدام محلل مكتب المساعدة مساعداً معتمداً لصياغة رد استناداً إلى مقتطف منقح من تذكرة، ثم التحقق من السياسة المشار إليها وإرسال الرسالة عبر نظام التذاكر المعتاد. يساعد المساعد في الصياغة، لكن المحلل يظل مسؤولاً عن المحتوى والإفصاح.

احموا أنظمة الذكاء الاصطناعي وبيانات الشركة وواجهات API والوصول

ابدؤوا بالحوكمة ونموذج التهديدات

عيّنوا مسؤولاً لكل حالة استخدام للذكاء الاصطناعي وسجّلوا غرضها التجاري وفئات بياناتها ومورديها وتكاملاتها ومستخدميها والعواقب المحتملة. ارسموا حدود الثقة: المطالبات العامة والملفات المرفوعة ومواد الشركة المسترجعة وموردو النماذج والأدوات والأنظمة اللاحقة. وخذوا في الحسبان إساءة الاستخدام من موظف أو اختراق حساب أو مستند خبيث أو انقطاع مورد أو تحديث نموذج يغيّر سلوكه. توصي إرشادات NCSC بمراعاة الأمن طوال تصميم نظام الذكاء الاصطناعي وتطويره ونشره وتشغيله، لا عند الإطلاق فقط. إرشادات NCSC لأمن الذكاء الاصطناعي طوال دورة حياته

احموا البيانات ومسارات الاسترجاع

صنّفوا المعلومات قبل إدخالها إلى نموذج أو فهرس استرجاع. اجمعوا ما تحتاج إليه المهمة فقط، واحجبوا المعرّفات حيثما أمكن، واجعلوا مدة الاحتفاظ أقصر ما يدعم الغرض المعتمد. طبّقوا فحوص الوصول عند استرجاع المحتوى، لا عند إنشاء الفهرس فحسب. إذا تعذر على المستخدم فتح مستند المصدر مباشرة، فلا ينبغي للذكاء الاصطناعي كشف محتواه عبر ملخص. اختبروا تغييرات الوصول والسجلات المحذوفة وحدود الفرق باستخدام حسابات تمثيلية. سجّلوا ما يكفي للتحقيق في الوصول من دون نسخ المطالبات الحساسة بلا داعٍ إلى مستودع ثانٍ غير مضبوط.

اضبطوا الهويات وواجهات API والإجراءات

امنحوا كل خدمة أو وكيل هوية خاصة به، والأذونات اللازمة للمهمة المحددة فقط. لا تضعوا الأسرار طويلة الأجل في المطالبات أو الشيفرة المصدرية أو تخزين المتصفح أو السجلات. خزّنوا بيانات اعتماد API في مدير أسرار معتمد، وبدّلوها دورياً، وقيّدوا نطاقها، وراقبوا استخدامها. تحقّقوا من الطلبات على الخادم، وفرضوا التفويض على كل عملية API، وحددوا قائمة مسموح بها للأدوات التي يمكن للوكيل استدعاؤها. قد يقترح النموذج إجراءً، لكن ينبغي لشيفرة التطبيق الحتمية التحقق من المستخدم والهدف والحدود وقواعد العمل قبل التنفيذ.

استخدموا فحوصاً إضافية للإجراءات ذات العواقب الملموسة. ينبغي أن تخضع الرسائل الخارجية وتغيير السجلات المالية ومنح الوصول وحذف المعلومات واعتماد المعاملات لخطوة تأكيد محددة. لا تكون الموافقة البشرية مفيدة إلا إذا استطاع المراجع رؤية ما سيحدث وسببه والسجل الذي سيؤثر فيه. أما الإجراءات الأقل خطراً، فاستخدموا لها نطاقات ضيقة وحدوداً للمعدل وتحديثات قابلة للتراجع وسجلات تدقيق واضحة. إذا عجز النظام عن توضيح الإذن الذي أتاح الإجراء، فينبغي تحسين نموذج الأذونات قبل توسيع الميزة.

اختبروا وراقبوا واستعدوا للاستجابة

اختبروا التطبيق كاملاً، لا إجابات النموذج فقط. أدرجوا مستندات خبيثة وتنسيقات ملفات غير مألوفة ومحاولات تجاوز أذونات المستخدم وحقن المطالبات والمخرجات غير الآمنة وإساءة استخدام API وأعطال الخدمات المتصلة. سجّلوا السلوك المتوقع وشروط الإيقاف قبل التجربة. راقبوا المصادقة والاسترجاع واستدعاءات الأدوات ومعالجة المخرجات وتغييرات الإعدادات. ضعوا مساراً للتعامل مع انكشاف البيانات والإجراءات غير المتوقعة وبيانات الاعتماد المخترقة وحوادث الموردين. احتفظوا بالسجلات ذات الصلة، وألغوا بيانات الاعتماد عند الحاجة، واحتووا التكامل، وأبلغوا المسؤولين المعنيين بكيفية الإبلاغ عن المخاوف.

أمن الذكاء الاصطناعي مسؤولية تشغيلية مستمرة. راجعوا تغييرات إصدارات النماذج وميزات الموردين ومصادر البيانات والأذونات قبل وصولها إلى المستخدمين. أعيدوا الاختبار بعد التغييرات الجوهرية واستفيدوا من الحوادث أو الحالات الوشيكة لتحديث الضوابط. وتحث إرشادات CISA للتصميم الآمن مصنّعي التقنية على تحمّل مسؤولية نتائج الأمان لدى عملائهم وتقديم منتجات آمنة بالتصميم. وللمؤسسة التي تعتمد أدوات الذكاء الاصطناعي، هذا سبب لسؤال الموردين عن كيفية دمج الأمان في منتجاتهم، مع استمرارها في إدارة إعداداتها وصلاحيات الوصول وبياناتها. مبادئ CISA للتصميم الآمن

قائمة تحقق عملية للأمن السيبراني للذكاء الاصطناعي في الشركات

  • احتفظوا بجرد لأدوات الذكاء الاصطناعي والحسابات والنماذج وواجهات API والوكلاء ومصادر البيانات ومسؤولي الأعمال.
  • حدّدوا الاستخدامات المعتمدة والبيانات المحظورة بأمثلة يستطيع الموظفون تطبيقها في عملهم.
  • راجعوا شروط المورد ومدة الاحتفاظ وإعدادات تحسين النموذج وضوابط الوصول والإبلاغ عن الحوادث قبل الاعتماد.
  • صنّفوا بيانات الإدخال وقلّلوها؛ وتجنبوا إرسال بيانات الاعتماد أو الأسرار أو المعلومات الشخصية غير الضرورية.
  • طبّقوا مبدأ أقلّ قدر من الامتيازات على الموظفين والتكاملات وهويات الخدمات ومفاتيح API وأدوات الوكلاء.
  • اشترطوا تحققاً مستقلاً لطلبات الدفع أو الوصول أو الإفصاح أو الحذف أو غيرها من الطلبات عالية الأثر.
  • اختبروا حقن المطالبات والاسترجاع غير المصرح به والمخرجات غير الآمنة وإساءة استخدام الأدوات قبل التغييرات وبعدها.
  • سجّلوا عمليات الوصول والإجراءات ذات الصلة، وعيّنوا مسؤولين عن الحوادث، وتدرّبوا على إلغاء الوصول واحتواء التكامل.

ليس الهدف العملي منع الموظفين من استخدام الذكاء الاصطناعي، بل توضيح الاستخدام المعتمد وإبقاء البيانات الحساسة والأذونات ضمن حدود واضحة والتحقق من الإجراءات قبل تأثيرها في الأشخاص أو سجلات الأعمال. ابدؤوا بالجرد ومراجعة محددة للمخاطر، ثم توسعوا عندما تصبح الضوابط والمسؤولون جاهزين.

اقرؤوا دليلنا حول حوكمة الذكاء الاصطناعي لمعرفة المزيد عن تحويل الضوابط إلى متطلبات هندسية، أو استكشفوا خدمات APLS للحوكمة والعمليات.

← جميع الرؤى ابدأ محادثة →