مخاطر الذكاء الاصطناعي على المنظمات وطرق إدارتها

الذكاء الاصطناعي بين القيمة المؤسسية المتقدمة والمخاطر التشغيلية المحتملة

أصبح الموظفون يستخدمون أدوات الذكاء الاصطناعي في كتابة التقارير وتلخيص الاجتماعات وتحليل البيانات، أحيانًا قبل أن تصدر المنظمة أي سياسة بشأنها. القيمة واضحة، لكن مخاطر الذكاء الاصطناعي حقيقية أيضًا: تحيز في القرار، وتسريب بيانات، ونتائج لا يستطيع أحد تفسيرها.

في هذا المقال نستعرض أبرز هذه المخاطر، والأطر المعتمدة لإدارتها محليًا وعالميًا، وخطوات عملية تساعد منظمتك على الموازنة بين قيمة التقنية وضبط مخاطرها.

لماذا تحتاج المنظمات إلى إدارة مخاطر الذكاء الاصطناعي؟

تختلف هذه التقنية عن الأنظمة التقليدية في ثلاث نقاط تجعل إدارة مخاطرها ضرورية:

تتعلم من البيانات: فإذا كانت البيانات منحازة أو ناقصة، انتقل الخلل إلى النتائج.

نتائجها احتمالية: النظام نفسه قد يعطي إجابتين مختلفتين للسؤال ذاته.

انتشارها سريع وغير مركزي: أي موظف يمكنه استخدام أداة عامة دون علم إدارة التقنية.

في عملنا مع الجهات، نجد أن أغلب المخاطر لا تأتي من مشاريع الذكاء الاصطناعي الكبيرة المعتمدة، بل من الاستخدام اليومي غير المنظم.

أبرز مخاطر الذكاء الاصطناعي على المنظمات

التحيز وعدم العدالة

نموذج دُرّب على بيانات تاريخية قد يكرر انحيازاتها، مثلًا في فرز طلبات التوظيف أو تقييم الطلبات. والنتيجة قرارات غير عادلة يصعب اكتشافها.

تسريب البيانات والخصوصية

إدخال بيانات المستفيدين أو مستندات داخلية في أداة عامة قد يعني خروجها من سيطرة المنظمة. وهذا يمس متطلبات حماية البيانات الشخصية مباشرة.

القرارات غير القابلة للتفسير

بعض النماذج تعطي نتيجة دون سبب واضح. في القرارات التي تمس الأفراد أو المال العام، يجب أن تستطيع المنظمة شرح سبب القرار.

المعلومات غير الدقيقة

النماذج التوليدية قد تنتج معلومات تبدو مقنعة لكنها خاطئة، مثل أرقام أو مراجع غير موجودة. وتزداد الخطورة عندما تُنسخ في تقرير رسمي دون مراجعة.

الاعتماد على المورّد

بناء عملية حرجة على خدمة خارجية يجعل المنظمة عرضة لتغيير الأسعار أو الشروط أو توقف الخدمة.

مخاطر الأمن

إدخال تعليمات خبيثة في النص الذي يقرؤه النموذج، أو استغلال الأدوات المتصلة بأنظمة المنظمة.

الاعتماد المفرط وتراجع المهارات

عندما يعتمد الفريق على الأداة في كل تحليل أو صياغة، تضعف قدرته على التحقق من النتائج أو العمل دونها. ويظهر الخطر عندما تتوقف الأداة أو تخطئ ولا يلاحظ أحد.

غموض الملكية الفكرية

قد لا يكون واضحًا من يملك المحتوى الذي تنتجه الأداة، أو هل استُخدمت في توليده مواد محمية. لذلك يجب مراجعة شروط المورّد قبل استخدام المخرجات في منتج أو منشور رسمي.

مخاطر الامتثال والسمعة

استخدام غير منضبط قد يخالف الأنظمة أو المبادئ الوطنية، وقد يتحول خطأ واحد منشور إلى أزمة سمعة.

مبادئ سدايا السبعة لأخلاقيات الذكاء الاصطناعي

على المستوى الوطني، أصدرت الهيئة السعودية للبيانات والذكاء الاصطناعي (سدايا) سبعة مبادئ لأخلاقيات الذكاء الاصطناعي لتوجيه المنظمات نحو الاستخدام المسؤول:

النزاهة والإنصاف.

الخصوصية والأمن.

الموثوقية والسلامة.

الشفافية والقابلية للتفسير.

المساءلة والمسؤولية.

الإنسانية.

المنافع الاجتماعية والبيئية.

نلاحظ أن كل مبدأ يقابل خطرًا من المخاطر السابقة تقريبًا. لذلك تصلح هذه المبادئ قائمة تحقق لأي مشروع قبل إطلاقه.

إطار NIST AI RMF لإدارة مخاطر الذكاء الاصطناعي

عالميًا، أصدر المعهد الوطني الأمريكي للمعايير والتقنية إطار إدارة مخاطر الذكاء الاصطناعي AI RMF في 26 يناير 2023 للاستخدام الطوعي، ثم أضاف ملفًا خاصًا بالذكاء الاصطناعي التوليدي (NIST AI 600-1) في 26 يوليو 2024.

يقوم الإطار على أربع وظائف:

Govern (الحوكمة): السياسات والأدوار والمساءلة وثقافة إدارة المخاطر.

Map (التحديد): فهم السياق، وحالات الاستخدام، ومن قد يتأثر بالنظام.

Measure (القياس): اختبار النظام وتقييم مخاطره بمؤشرات واضحة.

Manage (الإدارة): معالجة المخاطر حسب أولويتها ومتابعتها.

ميزة هذا الإطار أنه يصلح للمنظمات بكل أحجامها، ويمكن دمجه مع سجل المخاطر المؤسسية الموجود أصلًا.

خطوات إدارة المخاطر في منظمتك

هذا تسلسل عملي نوصي به للجهات التي تبدأ:

احصر الاستخدامات الحالية: ما الأدوات المستخدمة فعلًا؟ ومن يستخدمها؟ ولأي غرض؟

صنّف الاستخدامات حسب المخاطر: صياغة بريد داخلي تختلف عن تقييم طلب مستفيد.

أصدر سياسة استخدام واضحة: ما المسموح، وما الممنوع، وما يحتاج موافقة مسبقة.

حدد قواعد البيانات: أي تصنيف من البيانات لا يجوز إدخاله في أي أداة خارجية.

اشترط المراجعة البشرية لكل مخرج يُستخدم في قرار أو وثيقة رسمية.

قيّم الموردين قبل التعاقد: أين تُخزَّن البيانات؟ وهل تُستخدم لتدريب النماذج؟

أضف المخاطر إلى السجل المؤسسي مع مالك لكل خطر وخطة معالجة.

درّب الموظفين على الاستخدام الآمن ومراجعة النتائج.

راجع دوريًا، لأن الأدوات والأنظمة تتغير بسرعة.

ولأن البيانات هي أساس أي نظام ذكي، فإن حوكمة البيانات شرط مسبق لإدارة هذه المخاطر.

أسئلة قبل اعتماد أي أداة ذكاء اصطناعي

قبل أن توافق المنظمة على أداة جديدة، نوصي بأن تجيب لجنة المراجعة أو الإدارة المعنية عن هذه الأسئلة كتابيًا:

ما المشكلة التي تحلها الأداة؟ وهل يوجد بديل أبسط؟

ما البيانات التي ستُدخل فيها؟ وما تصنيفها؟

أين تُعالَج البيانات وتُخزَّن؟ وهل يستخدمها المورّد لتدريب نماذجه؟

من سيراجع المخرجات قبل استخدامها؟

هل يمكن تفسير النتيجة لمن يتأثر بها؟

ماذا يحدث إذا توقفت الخدمة فجأة؟

كيف سنعرف أن الأداة تحقق القيمة المتوقعة بعد ستة أشهر؟

هذه الأسئلة السبعة لا تحتاج إلى خبرة تقنية عميقة، لكنها تمنع أغلب القرارات المتسرعة، وتوثّق سبب الموافقة أمام أي جهة رقابية لاحقًا.

من يملك المخاطر داخل المنظمة؟

غياب المالك الواضح هو الثغرة الأكبر. نوصي بتوزيع الأدوار كالتالي:

الإدارة العليا: تحدد مستوى المخاطر المقبول وتعتمد السياسة.

لجنة أو مسؤول حوكمة الذكاء الاصطناعي: يراجع حالات الاستخدام عالية المخاطر.

إدارة المخاطر: تدمج المخاطر في السجل المؤسسي وتتابع المعالجة.

إدارة التقنية والأمن السيبراني: تقيّم الأدوات والموردين وتطبق الضوابط.

الشؤون القانونية والامتثال: تتحقق من التوافق مع الأنظمة.

مالك حالة الاستخدام: الإدارة التي تستخدم النظام وتتحمل نتائج قراراته.

هذا التوزيع جزء من إطار أوسع تشرحه مقالتنا ما هي الحوكمة الرقمية وكيف تطبّقها؟.

مؤشرات متابعة المخاطر

حتى تعرف أن الضوابط تعمل، تابع مؤشرات واضحة:

نسبة حالات الاستخدام المسجلة والمصنفة من إجمالي الاستخدامات المعروفة.

نسبة الموظفين الذين أكملوا التدريب على الاستخدام الآمن.

عدد حوادث إدخال بيانات محظورة في أدوات خارجية.

نسبة الموردين الذين خضعوا لتقييم قبل التعاقد.

عدد الأخطاء المكتشفة في المراجعة البشرية قبل النشر.

سيناريو عملي: موظف يرفع بيانات حساسة إلى أداة عامة

موظف في إدارة الموارد البشرية يريد تلخيص ملف تظلمات فيه أسماء الموظفين وتفاصيل حالاتهم، فيرفعه إلى أداة ذكاء اصطناعي عامة.

في منظمة دون ضوابط:

لا يعرف الموظف أن ذلك ممنوع.

لا يعلم أحد بما حدث.

تبقى البيانات في خدمة خارجية لا تعرف المنظمة شروطها.

في منظمة لديها إطار واضح:

السياسة تصنف هذه البيانات بأنها لا تُدخل في أي أداة خارجية.

الموظف تدرّب على ذلك ويعرف البديل المعتمد داخليًا.

الضوابط التقنية تنبّه عند رفع ملفات مصنفة إلى خدمات غير معتمدة.

إذا وقع الحادث، يُبلَّغ وفق خطة الاستجابة، ويُقيَّم الأثر على البيانات الشخصية.

ولمزيد من التفصيل حول حماية البيانات وأمنها، اقرأ حماية البيانات والدفاع السيبراني.

الخلاصة

مخاطر الذكاء الاصطناعي لا تعني تجنب التقنية، بل استخدامها بوعي. المنظمات التي تحصر استخداماتها، وتضع سياسة واضحة، وتشترط المراجعة البشرية، وتدمج هذه المخاطر في إدارة المخاطر المؤسسية، تحصل على القيمة وتتجنب أكبر الأضرار. ومبادئ سدايا وإطار NIST يقدمان معًا نقطة انطلاق عملية.

ضع إطارًا لحوكمة الذكاء الاصطناعي مع إمباور

يساعد فريق إمباور الجهات السعودية على حصر استخدامات الذكاء الاصطناعي، وتصنيف مخاطرها، وبناء السياسات والأدوار، ودمجها في منظومة المخاطر والحوكمة.

تعرّف على استشارات إدارة المخاطر والحوكمة المؤسسية، أو تواصل مع مستشارينا لتقييم وضع منظمتك الحالي.

الأسئلة الشائعة

ما أبرز مخاطر الذكاء الاصطناعي على المنظمات؟

التحيز في القرارات، وتسريب البيانات والخصوصية، والنتائج غير القابلة للتفسير، والمعلومات غير الدقيقة، والاعتماد على المورّد، ومخاطر الأمن والامتثال والسمعة.

ما مبادئ سدايا لأخلاقيات الذكاء الاصطناعي؟

سبعة مبادئ: النزاهة والإنصاف، والخصوصية والأمن، والموثوقية والسلامة، والشفافية والقابلية للتفسير، والمساءلة والمسؤولية، والإنسانية، والمنافع الاجتماعية والبيئية.

هل إطار NIST AI RMF ملزم؟

لا. أصدره المعهد الوطني الأمريكي للمعايير والتقنية للاستخدام الطوعي، لكنه مرجع شائع تعتمد عليه المنظمات لتنظيم إدارة هذه المخاطر.

من أين تبدأ منظمة لم تضع أي ضوابط بعد؟

ابدأ بحصر الأدوات المستخدمة فعلًا، ثم أصدر سياسة مختصرة تحدد البيانات الممنوع إدخالها والمخرجات التي تحتاج مراجعة بشرية. بعد ذلك ادمج هذه المخاطر في سجل المخاطر المؤسسي، وطوّر الإطار تدريجيًا.

هل يجب منع الموظفين من استخدام أدوات الذكاء الاصطناعي؟

المنع الكامل يدفع غالبًا إلى الاستخدام الخفي. الأفضل سياسة واضحة تحدد المسموح والممنوع، مع أدوات معتمدة وتدريب ومراجعة بشرية للمخرجات المهمة.

مشاركة المقال

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *