سلامة الذكاء الاصطناعي مقابل أمان الذكاء الاصطناعي: التحكم في المخاطر عند استدعاء النموذج

الفرق بين سلامة الذكاء الاصطناعي وأمان الذكاء الاصطناعي يمكن أن يكون غامضًا حتى يؤثر استدعاء النموذج على عميل أو تذكرة أو مستند أو معاملة أو سير عمل وكيل. في تلك اللحظة، يصبح التمييز مهمًا.

تسأل سلامة الذكاء الاصطناعي عما إذا كان النظام يتصرف بطرق مفيدة وموثوقة ومتوافقة مع المهمة التي من المفترض أن يقوم بها. بينما تسأل أمان الذكاء الاصطناعي عما إذا كان يمكن مهاجمة النظام أو بياناته أو أدواته أو مسارات الوصول الخاصة به أو إساءة استخدامها. تحتاج فرق الإنتاج إلى كليهما، لأن النموذج الآمن يمكن أن يتم استغلاله، والتكامل الآمن يمكن أن ينتج مخرجات ضارة أو غير موثوقة.

بالنسبة للمطورين الذين يعملون مع واجهات برمجة التطبيقات للنماذج، فإن نقطة التحكم العملية غالبًا ما تكون استدعاء النموذج نفسه: أي نموذج يتم اختياره، أي طلب يتم إرساله، أي أدوات مسموح بها، ما البيانات المرفقة، ما الذي يتم تسجيله، ما مسار الاسترجاع المتاح، وما الذي يراه المستخدم عند عودة الاستجابة.

سلامة الذكاء الاصطناعي تتحكم في مخاطر السلوك

سلامة الذكاء الاصطناعي تتعلق بسلوك ونتائج نظام الذكاء الاصطناعي. السؤال الأساسي هو: هل يجب أن يتصرف النظام بهذه الطريقة لهذا المستخدم، المهمة، والسياق؟

غالبًا ما تغطي أعمال السلامة جودة المخرجات، المحتوى الضار، التحيز، الهلوسة، سلوك الرفض، المتانة، التقييم، والإشراف البشري. كما تشمل السؤال التشغيلي الذي تواجهه كل فرق المنتجات في النهاية: ماذا يحدث عندما يكون النموذج غير مؤكد، أو خاطئ، أو غير مكتمل، أو يُطلب منه القيام بشيء خارج نطاقه المقصود؟

للنموذج إطار عمل إدارة مخاطر الذكاء الاصطناعي من NIST مفيد هنا لأنه يعامل مخاطر الذكاء الاصطناعي كشيء يجب على الفرق إدارته، ورسم خرائطه، وقياسه، وإدارته، وليس كقرار اختيار نموذج لمرة واحدة. هذا الإطار مهم بشكل خاص عندما يوجه المنتج العمل عبر عدة نماذج أو مزودين.

أمان الذكاء الاصطناعي يتحكم في مخاطر الاستغلال

أمان الذكاء الاصطناعي يتعلق بحماية تكامل النموذج من الهجوم، الوصول غير المصرح به، كشف البيانات، وسوء الاستخدام. السؤال الأساسي هو: هل يمكن لشخص ما استغلال هذا النظام، طلبه، أدواته، مصادر استرجاعه، أو أذوناته؟

غالبًا ما تغطي أعمال الأمان حقن الطلبات، كشف المعلومات الحساسة، تسميم بيانات التدريب أو الاسترجاع، مخاطر سلسلة توريد النموذج، أذونات الأدوات المفرطة، حجب الخدمة، تسرب بيانات الاعتماد، وتصميم الإضافات أو الوكلاء غير الآمن. OWASP Top 10 لتطبيقات النماذج اللغوية الكبيرة هو مرجع مفيد لأنه يسمي العديد من أوضاع الفشل التي تظهر بمجرد توصيل النماذج اللغوية الكبيرة بالبرمجيات الحقيقية.

الأمان ليس فقط مشكلة مزود النموذج. لا يزال المطورون بحاجة إلى حماية مفاتيح واجهات برمجة التطبيقات، مصادقة المستخدمين، تحديد أذونات مساحة العمل، تصفية مصادر الاسترجاع، التحكم في أدوات الوكلاء، ومراقبة أنماط الاستخدام غير الطبيعية. يمكن لمزود تأمين بنيته التحتية الخاصة بينما لا يزال تطبيقك يعرض وصولًا خطيرًا إلى الأدوات أو بيانات المستخدم.

السلامة مقابل الأمان: الفرق العملي

المجال	سلامة الذكاء الاصطناعي	أمن الذكاء الاصطناعي
السؤال الرئيسي	هل يجب أن ينتج النظام هذا السلوك؟	هل يمكن لشخص ما استغلال هذا النظام؟
المخاطر النموذجية	مخرجات ضارة أو متحيزة أو غير موثوقة أو مضللة	حقن التعليمات، كشف البيانات، إساءة الاستخدام، أو الوصول غير المصرح به
الضوابط الأساسية	التقييمات، الحواجز الوقائية، المراجعة البشرية، اختيار النموذج، سياسات المخرجات	المصادقة، الأذونات، ضوابط الإدخال، إدارة الأسرار، عزل الأدوات
مثال على الفشل	مساعد الدعم يقدم إرشادات استرداد غير آمنة	خدعة تعليمات خبيثة تخدع وكيلًا لكشف بيانات تذاكر خاصة
تداخل الملكية	المنتج، السياسة، الهندسة، القانون، خبراء المجال	الأمن، المنصة، الهندسة، العمليات

يحدث التداخل حيث تحدث العديد من إخفاقات الإنتاج. يصبح حقن التعليمات مشكلة أمنية عندما يعبث بالتعليمات أو الوصول إلى البيانات، ولكنه يمكن أن يصبح مشكلة أمان عندما يصل الرد المعدل إلى المستخدم. الوكيل ذو الأذونات الواسعة يمثل قلقًا أمنيًا، ولكن أفعاله يمكن أن تخلق مخاطر أمان وأعمال إذا اتخذ النموذج قرارًا غير موثوق به.

لماذا تحتاج استدعاءات النماذج إلى طبقة تحكم خاصة بها

تبدأ العديد من الفرق بنموذج واحد، ومفتاح API واحد، وموجه واحد. يمكن أن يعمل ذلك كنموذج أولي. يصبح هشًا عندما يضيف المنتج نماذج متعددة، إعدادات خاصة بالعملاء، أدوات الوكلاء، الاسترجاع، توجيه النسخ الاحتياطي، ضوابط التكلفة، أو الفوترة بناءً على الاستخدام.

توفر طبقة التحكم في استدعاء النموذج للمطورين مكانًا ثابتًا لتطبيق القرارات قبل وبعد الاستدلال. يمكن أن تساعد في الإجابة على أسئلة مثل:

• أي نموذج يجب أن يتعامل مع هذه المهمة، مستوى المستخدم، نوع البيانات، أو مستوى المخاطر؟
• ماذا يحدث إذا كان النموذج الأساسي غير متاح، بطيئًا جدًا، أو مكلفًا جدًا؟
• ما هي الموجهات، الوثائق، والأدوات المسموح بها لهذا الطلب؟
• ما هي المخرجات التي تتطلب مراجعة، حظر، إعادة كتابة، أو تصعيد؟
• كيف يجب تسجيل الاستخدام، التكلفة، التأخير، اختيار المزود، والأخطاء؟

هذا أيضًا حيث حواجز حماية بوابة الذكاء الاصطناعي تصبح أكثر فائدة من الفحوصات المتفرقة لكل ميزة. تجعل نقطة التحكم المركزية من الأسهل تطبيق السياسات المشتركة عبر الدردشة، البحث، معالجة الوثائق، الوكلاء، سير العمل، وميزات الذكاء الاصطناعي الموجهة للعملاء.

قائمة مراجعة للمطورين لأمان وسلامة الذكاء الاصطناعي

1. فصل سياسات السلوك عن سياسات الوصول

اكتب ما يُسمح للميزة الذكية بالقول أو الفعل، ثم حدد بشكل منفصل من يمكنه استدعاؤها، وما البيانات التي يمكن استخدامها، وأي الأدوات يمكن الوصول إليها. يجب أن تتوافق سياسات السلامة وسياسات الأمان، ولكن لا ينبغي أن تكون نفس الوثيقة.

قم بالتوجيه بناءً على مخاطر المهمة، وليس فقط بناءً على درجة المعيار.

قد لا يكون أفضل نموذج لتلخيص الوثائق العامة هو الأفضل للدعم المنظم، أو تغييرات الكود، أو المراجعة القانونية، أو الأتمتة المخصصة للعملاء. استخدم اختيار النموذج ليعكس المخاطر، والكمون، والتكلفة، والموثوقية، وليس فقط موقعًا في قائمة المتصدرين.

حافظ على أذونات الأدوات ضيقة.

لا ينبغي أن يحصل الوكلاء على وصول واسع إلى الأدوات بشكل افتراضي. قم بتحديد نطاق الأدوات حسب المستخدم، ومساحة العمل، ونوع المهمة، ومستوى الثقة. يمكن أن تقلل الأدوات التي تعمل بوضع القراءة فقط، ووضع التشغيل الجاف، وخطوات الموافقة البشرية من الأضرار عند التلاعب بالنموذج أو حدوث خطأ.

قم بتسجيل استدعاء النموذج، وليس فقط إجراء المستخدم.

تتضمن السجلات المفيدة النموذج المختار، والمزود، والطريق، والكمون، والتكلفة، وحالة الخطأ، والمستخدم أو مساحة العمل، وقرار السياسة، ومسار الاسترجاع. تجنب تخزين المطالبات أو المخرجات الحساسة ما لم تسمح قواعد الخصوصية والاحتفاظ الخاصة بك بذلك صراحة.

اختبر الإخفاقات قبل أن يجدها العملاء.

قم بتشغيل مطالبات الفريق الأحمر، واختبارات الاسترجاع العدائية، واختبارات الإدخال السيئة، واختبارات الأذونات، واختبارات الاسترجاع، واختبارات ارتفاع التكلفة قبل الإصدار. ثم كررها عند تغيير المطالبات أو النماذج أو الأدوات أو المزودين أو قواعد التوجيه.

أين يناسب ShareAI

توفر ShareAI للمطورين واجهة برمجة تطبيقات واحدة للوصول إلى أكثر من 150 نموذجًا ذكياً مع التوجيه، والتبديل التلقائي، واختيار النماذج المدفوع بالسوق. هذا لا يحل محل أمان تطبيقك، أو تفويض المستخدم، أو عملية الخصوصية، أو المراجعة الخاصة بالمجال. ولكنه يوفر للفرق سطح تكامل أبسط لإدارة اختيار المزود واستخدام النموذج بدلاً من توزيع تكاملات المزود المباشرة عبر كل ميزة.

بالنسبة للمطورين، هذا مهم لأن مخاطر الذكاء الاصطناعي وتحقيق الدخل من الذكاء الاصطناعي مرتبطان. إذا كان منتجك يفرض رسومًا على استخدام الذكاء الاصطناعي أو يضيف هامشًا على استدعاءات النماذج الموجهة، يحتاج العملاء إلى سلوك موثوق، ورؤية واضحة للاستخدام، ومسارات استرجاع متوقعة. طبقة استدعاء نموذج أكثر أمانًا وحماية تحمي كلًا من المستخدم النهائي ونموذج العمل.

ابدأ بمسار تكامل واحد، وحدد قرارات السياسة حوله، واجعل التوجيه قابلاً للملاحظة قبل أن ينمو سطح الذكاء الاصطناعي الخاص بك. وثائق ShareAI هو الخطوة التالية الأفضل للفرق التي ترغب في ربط نماذج متعددة دون إعادة بناء كل تكامل مزود يدويًا.

الأسئلة الشائعة

ما الفرق بين سلامة الذكاء الاصطناعي وأمان الذكاء الاصطناعي؟

تركز سلامة الذكاء الاصطناعي على ما إذا كان نظام الذكاء الاصطناعي يتصرف بشكل موثوق ويتجنب النتائج الضارة. يركز أمان الذكاء الاصطناعي على ما إذا كان يمكن مهاجمة النظام أو إساءة استخدامه أو إجباره على كشف البيانات أو الأدوات أو بيانات الاعتماد.

لماذا تهم سلامة الذكاء الاصطناعي مقابل أمان الذكاء الاصطناعي بالنسبة للبُناة؟

غالبًا ما يقوم البُناة بربط النماذج بسير العمل الموجه للعملاء، المستندات، الوكلاء، والفواتير. يساعد فصل السلامة عن الأمان الفرق في اختيار الضوابط المناسبة بدلاً من التعامل مع كل خطر للذكاء الاصطناعي كمشكلة في التعليمات.

هل حقن التعليمات مشكلة سلامة أم مشكلة أمان؟

يبدأ حقن التعليمات كمشكلة أمان لأنه يحاول التلاعب بالتعليمات، الوصول إلى البيانات، أو استخدام الأدوات. يمكن أن يصبح مشكلة سلامة عندما يتسبب الرد أو الإجراء المُتلاعب به في ضرر للمستخدم أو عملية الأعمال.

هل تحل حواجز بوابة الذكاء الاصطناعي مشاكل السلامة والأمان معًا؟

يمكن أن تساعد حواجز بوابة الذكاء الاصطناعي في كلا الأمرين، خاصةً في فحص المدخلات، فحص المخرجات، التوجيه، والتسجيل. لكنها لا تحل محل إدارة الهوية، البنية التحتية الآمنة، تصميم الأدوات بأقل امتياز، أو مراجعة الإنسان للإجراءات عالية المخاطر.

كيف يجب أن تختار الفرق النماذج لتدفقات عمل الذكاء الاصطناعي الأكثر أمانًا؟

اختر النماذج بناءً على مخاطر المهمة، حساسية البيانات، التأخير، التكلفة، الموثوقية، وجودة المخرجات. يمكن أن يستخدم مهمة تلخيص منخفضة المخاطر مسارًا مختلفًا عن وكيل يتعامل مع بيانات العملاء أو أدوات حيوية للأعمال.

كيف يساعد ShareAI في التحكم في استدعاء النماذج؟

يوفر ShareAI للبُناة واجهة برمجة تطبيقات واحدة للوصول إلى أكثر من 150 نموذجًا مع خيارات التوجيه والتجاوز. يجعل ذلك من السهل مركزية الوصول إلى النماذج وقرارات الاستخدام بدلاً من الحفاظ على العديد من تكاملات المزود المباشرة.

هل يحل ShareAI محل برنامج أمان التطبيقات؟

لا. لا يزال البُناة بحاجة إلى المصادقة، التفويض، التعامل الآمن مع المفاتيح، ضوابط الخصوصية، الاستجابة للحوادث، وعمليات المراجعة. يساعد ShareAI في الوصول إلى النماذج والتوجيه، وليس كل جزء من أمان التطبيقات.

ما الذي يجب أن يهتم به المزودون في أمان الذكاء الاصطناعي؟

يجب أن يهتم المزودون بمنع الإساءة، التوافر، التحكم في الوصول، عزل البيانات، والحدود التشغيلية الواضحة. يجعل الأمان الأفضل قدرة المزود والوصول إلى النماذج أكثر موثوقية للبُناة في المراحل اللاحقة.

ما الذي يجب أن يهتم به المبدعون في سلامة الذكاء الاصطناعي؟

يجب أن يهتم المبدعون وأصحاب النماذج بكيفية وضع نماذجهم، توجيهها، تقييمها، واستخدامها. تؤثر توقعات السلامة على التبني، محادثات الترخيص، وما إذا كان البناة يثقون بالنموذج في تدفقات العمل الإنتاجية.

ما هي الخطوة الأولى لتقليل مخاطر الذكاء الاصطناعي في التطبيق؟

قم بتعيين كل استدعاء للنموذج حسب الميزة، نوع المستخدم، مصدر البيانات، الوصول إلى الأدوات، وجهة الإخراج، ومسار البديل. بمجرد أن تصبح تلك الاستدعاءات مرئية، يصبح من الأسهل بكثير تحديد مكان وجود ضوابط السلامة والأمان.