الاستقلالية التي يمكنك التحكم بها: سلسلة الأمان التي تُمكّن الوكلاء من التعامل مع بيانات العملاء
بواسطة SocialHub.AI الفريق
لا يدور سؤال مسؤول أمن المعلومات حول ما إذا كان ينبغي للذكاء الاصطناعي التعامل مع بيانات العملاء. إنها سلسلة الضوابط التي تجعل الإجراءات المستقلة قابلة للتدقيق ومحدودة. إليك هذه السلسلة، طبقةً تلو الأخرى، والمخاطر المتبقية التي لا تزال تتحملها.
السؤال الخاطئ، والسؤال الصحيح
عندما يقترح أحد الموردين أن يقوم نظام ذكاء اصطناعي بقراءة بيانات عملائك، وتحليلها، والتصرف بناءً عليها، فإن رد فعل قسم الأمن هو التساؤل عما إذا كان ينبغي السماح بذلك من الأساس. قد يبدو هذا الطرح منطقيًا، ولكنه في الواقع سؤال خاطئ. فسؤال "هل ينبغي للذكاء الاصطناعي التعامل مع بيانات العملاء؟" ليس له إجابة قاطعة بنعم أو لا، لأن الخطر لا يكمن في التعامل معها. يكمن جوهر الأمر في سلسلة التنفيذ بين نموذج يُنتج نيةً وتحويل تلك النية إلى إجراء فعليّ على سجلات حقيقية.
السؤال الأهم، والذي يمكن لمسؤول أمن المعلومات (CISO) اتخاذ إجراء بشأنه، هو: ما هي سلسلة الضوابط التي تجعل العمل المستقل قابلاً للتدقيق ومحدودًا؟ ليس الاستقلال الذاتي هو التهديد، بل الاستقلال الذاتي غير المُدار. إذا استطعت تحديد كل حلقة في السلسلة التي تربط بين مخرجات النموذج وكتابة سجل العميل، يمكنك حينها التفكير في المخاطر المتبقية، وتحديد المسؤولية، واتخاذ قرار قابل للدفاع. أما إذا لم تستطع، فلن تُجدي أي سياسة تتعلق بـ"الذكاء الاصطناعي المسؤول" نفعًا. إذا لم تستطع، فلن تُنقذك أي بنود في السياسة حول "الذكاء الاصطناعي المسؤول".
يشرح هذا المنشور هذه السلسلة من البداية إلى النهاية، كقصة دفاعية متعددة الطبقات. يتم وصف كل طبقة بالتهديد المحدد الذي تتصدى له، مع ربطها بشكل عام بأنواع الفئات التي تستخدمها OWASP لإدارة دورة حياة النظام ومخاطر التطبيقات. يتبع الإطار العام روح إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني للمعايير والتكنولوجيا (NIST): مخاطر الذكاء الاصطناعي هي عملية مستمرة، تُدار وتُعاد قياسها طوال دورة حياة النظام، وليست مجرد قائمة مراجعة تُوقع عليها لمرة واحدة عند الشراء. سنكون صريحين في النهاية بشأن ما لا تحله هذه الضوابط.
الطبقة الأولى: تنفيذ مُدقَّق، لذا فإن الوهم ليس مسار تنفيذ فعليًا.
تكمن الثغرة الأولى والأخطر في أي نظام وكلاء في اللحظة التي يُصدر فيها النموذج شيئًا يبدو كأمر، ويقوم وقت التشغيل بتنفيذه بشكل تلقائي. نموذج اللغة هو مولد احتمالي؛ سيُنتج في النهاية string لم يكن من المفترض أن يوجد أصلًا. إذا تم تمرير string هذا إلى واجهة سطر الأوامر أو المفسر كما هو، فإن الوهم يتحول إلى مسار تنفيذ غير مُراقب. هذا هو النظير الوكيل للحقن التقليدي، وهو التهديد الذي يُبقي مهندسي الأمن في حالة تأهب دائم. الثغرة الأولى والأخطر في أي نظام وكلاء هي اللحظة التي يُصدر فيها النموذج شيئًا يبدو كأمر، ويقوم وقت التشغيل بتنفيذه بشكل مُطيع.
يكمن حلنا في رفض التعامل مع مخرجات النموذج كملفات تنفيذية من الأساس. تُدقَّق الأوامر المُولَّدة بواسطة الذكاء الاصطناعي وفقًا لشجرة أوامر ثابتة، وهي قائمة مسموح بها من العمليات المعروفة والمُحدَّدة مسبقًا، قبل تشغيل أي شيء. أي أمر غير موجود في الشجرة لا يُنفَّذ، ببساطة. أما الأوامر التي تجتاز هذه العملية، فتُرسَل عبر مسار تنفيذ مُقيَّد، على غرار shell=False، حيث تُمرَّر الوسائط كمعاملات منفصلة ومنظمة، بدلًا من دمجها في string التي قد يُعيد shell تفسيرها.
نتيجةً لذلك، يقتصر إبداع النموذج على اختيار العمليات التي يُجيد النظام تنفيذها بأمان. لا يُمكنه ابتكار عملية جديدة. يفشل أمرٌ مُتخيّل عند نقطة التحقق بدلًا من أن يُصبح إجراءً فعليًا. هذا لا يجعل النموذج صحيحًا، بل يجعل خطأه مُتغيّبًا.
الطبقة الثانية: امتدادات موقّعة، ومُدقّقة السلامة، ومعزولة في بيئة اختبارية
تستمد المنصات الوكيلة قوتها من قابلية التوسع، ومهارات الطرف الثالث، والإضافات التي تُضيف إمكانيات جديدة. تُعدّ قابلية التوسع أيضًا نقطة ضعف في سلسلة التوريد. يكمن التهديد هنا في جانبين: إضافة خبيثة مُصممة بسوء نية، وإضافة شرعية تم التلاعب بها أو اختراقها في مرحلة ما بين المُنشئ ووقت التشغيل. أيٌّ منهما، عند تحميله دون فحص، يعمل بثقة النظام.
نُعالج جانب سلسلة التوريد باستخدام التشفير. يتم توقيع مهارات الطرف الثالث باستخدام Ed25519، ويتم التحقق من سلامتها باستخدام SHA-256 قبل قبولها. يتم فحص التوقيعات مقابل قائمة إبطال الشهادات، لذا يتم رفض أي امتداد تم إبطال مفتاح توقيعه حتى لو كان صالحًا في السابق. يمنحك هذا إمكانية تتبع المصدر والقدرة على سحب الثقة لاحقًا، وهو أمر بالغ الأهمية عند اكتشاف اختراق أحد المفاتيح.
يُعدّ التحقق من المصدر ضروريًا ولكنه غير كافٍ، لأنّ الامتداد المُوقّع قد يُسبّب مشاكل أثناء التشغيل. لذا، تُنفّذ الامتدادات المُصرّح لها داخل بيئة تشغيل معزولة ثلاثية الطبقات تُقيّد نظام الملفات والشبكة والعملية. لا يرى الامتداد إلا ما هو مسموح له برؤيته، ولا يمكنه الوصول إلا إلى ما هو مسموح له بالوصول إليه. نحن نُدرك حدود هذا الأمر: فالبيئة المعزولة حلٌّ عملي، وتقليصٌ كبير لنطاق التأثير، وليست ضمانًا رياضيًا للعزل التام. إنها تزيد من التكلفة وتُضيّق نطاق الامتداد المُعادي، لكنها لا تجعل الامتدادات المُعادية مستحيلة. يُعدّ التحقق من المصدر ضروريًا ولكنه غير كافٍ، لأنّ الامتداد المُوقّع قد يُسبّب مشاكل أثناء التشغيل.
الطبقة الثالثة: الوصول المُدار إلى الأدوات من خلال MCP
عندما يلجأ وكيل إلى أدوات خارجية للتصرف، يصبح السؤال متعلقًا بالهوية والتفويض والمحاسبة. تتمثل المخاطر في الوصول المفرط، حيث يمكن للوكيل استخدام أدوات لا يحق له استخدامها؛ والتكلفة الباهظة أو إساءة الاستخدام، حيث يدخل الوكيل في حلقة مفرغة أو يُجبر على استنزاف الموارد؛ وعدم القدرة على تحديد من قام بماذا بعد. من قام بماذا بعد.
تخضع كل عملية استدعاء أداة عبر بروتوكول سياق النموذج لأربع نقاط تحكم. يتم التحقق من صحتها بواسطة مفتاح المستأجر، وبالتالي تحمل عملية الاستدعاء هوية قابلة للتحقق. يتم الترخيص لكل أداة على حدة، لذا فإن امتلاك مفتاح لا يمنح الوصول إلى كامل الواجهة، بل يمنح فقط العمليات المحددة التي يحق لتلك الهوية القيام بها. يتم قياسها وفقًا لميزانية محددة لكل عملية، ولكل يوم، وخلال فترات زمنية متجددة مدتها 30 يومًا، مع وجود آلية إيقاف تلقائي لإيقاف النشاط، بحيث لا يستطيع أي وكيل معطل أو مخترق زيادة التكاليف أو حجم العمليات بشكل غير محدود. كما تخضع للتدقيق، مع تنقيح كل مكالمة على حدة، لضمان عدم تحول سجل البيانات إلى مصدر جديد لتسريب البيانات الحساسة.
بهذه الطريقة، يتحول الوصول إلى الأدوات من صلاحية ضمنية إلى صلاحية صريحة، بأقل قدر من الامتيازات، وخاضعة للمساءلة. وتُعالج الميزانية ومفتاح الإيقاف، على وجه الخصوص، نمط فشل تتجاهله أنظمة التحكم التقليدية في الوصول تمامًا: وهو وجود وكيل مُصرّح له بالكامل، ومع ذلك يُنفّذ سلوكًا خاطئًا على نطاق واسع لعدم وجود ما يمنعه من ذلك. يُحوّل هذا النظام، مجتمعًا، إمكانية الوصول إلى الأدوات من صلاحية ضمنية إلى صلاحية صريحة، بأقل قدر من الامتيازات، وخاضعة للمساءلة.
الطبقة الرابعة: أرقام من الطبقة الدلالية، وليست من النموذج
يُعدّ التلاعب بالبيانات تهديدًا خفيًا في تحليلات الوكلاء. اسأل نموذجًا عن أداء مجموعة معينة، وسيُنتج لك بكل سرور قيمة number تبدو صحيحة، لكنها مُختلقة تمامًا. في سياق التسويق أو الاحتفاظ بالعملاء، قد يؤدي رقم خاطئ بثقة إلى اتخاذ قرار حقيقي، أو تغيير في الميزانية، أو حملة، أو حتى تغيير في مجلس الإدارة، قبل أن يلاحظ أحد أن النموذج قد اختلقه. محرك توصيات موحد عبر البريد الإلكتروني وموقعك الإلكتروني وأي تطبيق - مُخصّص بناءً على تفضيلات كل عضو، مع توفير المنتجات الرائجة كخيار احتياطي للمتسوقين المجهولين.
نختتم هذا بفصل النموذج عن عملية إنتاج الأرقام. تأتي الأرقام من طبقة دلالية معتمدة، وفهرس مُدار حيث لكل مقياس تعريف، وطريقة حساب معروفة، ومسار استعلام خاص بكل مستأجر. يقتصر دور النظام على طلب المقياس وشرح النتيجة؛ ولا يقوم باستخلاص number بنفسه. عندما يُبلغ النظام عن إجمالي قيمة المبيعات أو الأعضاء النشطين أو معدل الاسترداد، فإن هذه القيمة تعود إلى تعريف معتمد لبيانات حقيقية، وليس إلى تسلسل رموز يبدو منطقيًا.
هنا يكمن أيضاً القياس النزيه لتأثير الأعمال. يمكننا الإشارة إلى نتائج مثل McDonald's China نمو إجمالي قيمة البضائع المنسوبة للأعضاء من حوالي 5% إلى 85%، تحديداً لأن هذا الرقم مستمد من مقياس محدد وقابل للتدقيق وليس من تخمين نموذج. إن الانضباط الذي يمنع التلاعب هو نفسه الانضباط الذي يجعل النتيجة الحقيقية جديرة بالثقة.
الطبقة الخامسة: عزل المستأجر كخاصية أساسية للنظام بأكمله
يُعدّ تسريب البيانات بين المستخدمين، أي ظهور بيانات أحد العملاء في جلسة عميل آخر، خللاً يُنهي الثقة نهائياً. ونادراً ما يكون سببه خطأً واحداً في التحقق. بل ينشأ من نقاط التداخل بين المكونات، حيث تفترض طبقة ما أن طبقة أخرى قد فرضت حدوداً لم يفرضها أحد فعلياً.
لذا، تُعامل العزلة كخاصية مُعززة على عدة طبقات في آن واحد، بدلاً من كونها بوابة واحدة. يُحمل سياق المصادقة المستأجر في كل طلب. تُحدد نطاقات الاستعلامات بحيث يتم تصفية الوصول إلى البيانات للمستأجر وفقًا للتصميم. تُقسّم ذاكرات التخزين المؤقت بحيث لا يمكن تقديم نتيجة مخزنة مؤقتًا لمستأجر ما إلى مستأجر آخر. ويتم تنظيم الوصول للقراءة في الطبقة الدلالية من خلال طرق عرض للقراءة فقط قائمة على منح الصلاحيات، بحيث حتى الاستعلام التحليلي مقيد بنموذج أذونات قاعدة البيانات نفسه وليس فقط بشفرة التطبيق.
يكمن الهدف من تداخل هذه العناصر في ضمان عدم تحول أي خلل إلى ثغرة أمنية. لا يُقصد بالدفاع المتعدد الطبقات هنا التكرار لمجرد التكرار، بل هو إقرار بإمكانية تطبيق أي حد بشكل خاطئ، وأن تكلفة تسرب البيانات بين المستخدمين مرتفعة بما يكفي لتبرير استمرار العمل به حتى في حال حدوث خطأ.
الطبقة السادسة: بوابات موافقة بشرية على الإجراءات الهامة
الرابط الأخير غير مؤتمت عمدًا. يمكن أن تتم عمليات القراءة والتحليل والصياغة والاقتراح تلقائيًا. أما التفعيل، وهو الإجراء اللاحق الذي يؤثر على العملاء أو يُلزمهم بالإنفاق، فيمر عبر موافقة بشرية. يقوم شخص مُخوّل ومُلمّ بالسياق بمراجعة ما ينوي الموظف القيام به ويُقرر ما إذا كان سيتم تنفيذه أم لا.
هذا ليس اعترافًا بعدم موثوقية الأتمتة، بل هو خيار تصميمي يتعلق بتحديد المسؤولية. بعض القرارات لها عواقب لا ينبغي للمؤسسة تفويضها أبدًا إلى نظام احتمالي، مهما كانت إدارته جيدة. وجود عنصر بشري عند تفعيل النظام يعني أن سلسلة التوريد تنتهي بشخص يمكن محاسبته، وهي تحديدًا الصفة التي تبحث عنها الجهات الرقابية أو مجالس الإدارة أو لجان مراجعة الحوادث. وجود عنصر بشري عند نقطة التفعيل يعني أن سلسلة التوريد تنتهي بشخص يمكن محاسبته، وهذا تحديدًا ما تبحث عنه الجهات الرقابية أو مجالس الإدارة أو لجان مراجعة الحوادث.
تجدر الإشارة إلى أن بوابات الموافقة لها نقطة ضعفها الخاصة: الموافقة الآلية. إنّ بوابة الموافقة التي ينقر عليها المُعتمدون دون قراءة مُسبقة ليست سوى استعراض. ففعالية هذه البوابة مرهونةٌ بفعالية عملية المراجعة التي تليها، وهي في حد ذاتها مسؤوليةٌ تقع على عاتق مؤسستكم، ويجب عليكم مراقبتها ومراجعتها، وليس بإمكان المنصة ضمانها نيابةً عنكم.
المخاطر المتبقية التي لا تزال تتحملها
بوضع السلسلة كاملةً، وتنفيذ مُدقَّق، وامتدادات مُوقَّعة ومعزولة، ووصول مُدار للأدوات، ومقاييس مُعتمدة، وعزل مُتدرِّج للمستأجرين، وموافقة بشرية، ستحصل على وضع دفاعي مُتعمَّق حيث تُعالج كل طبقة تهديدًا مُحدَّدًا ولا يُصبح أي فشل كارثة. هذه هي الاستقلالية القابلة للإدارة التي يمكن لمسؤول أمن المعلومات الموافقة عليها فعليًا، لأن كل رابط قابل للتدقيق ومحدد النطاق.
لن ندّعي أنه خالٍ من المخاطر. تُقلل الضوابط من المخاطر، لكنها لا تُزيلها تمامًا. البيئة التجريبية حل وسط عملي، وليست عزلًا تامًا. يجب تحديث قوائم السماح باستمرار وإلا ستصبح قديمة. تتحول بوابات الموافقة إلى مجرد أختام شكلية عند إهمال الانضباط. لا تُجدي قوائم الإلغاء نفعًا إلا إذا كانت مُحدثة. وإطار عمل المعهد الوطني للمعايير والتكنولوجيا (NIST) هو الأنسب لأنه صادق في هذا الشأن: إدارة مخاطر الذكاء الاصطناعي عملية مستمرة. يتغير نموذج التهديد، وتتغير النماذج، وتُضاف إليها ملحقات، ولا يكون ضمانك جيدًا إلا بقدر استعدادك لإعادة قياسه باستمرار. اليوم الذي تتعامل فيه مع هذا الأمر كقائمة مهام أنجزتها هو اليوم الذي يبدأ فيه وضعك الصحي بالتدهور.
ما يبقى معك، الأمور التي لا يمكن لأي منصة امتلاكها نيابةً عنك، واضحة: سياسة تحديد مستوى الاستقلالية المسموح به، والأشخاص المسؤولون عن مراجعة الموافقات وقراءة ما يوافقون عليه بدقة، وصيانة قوائم السماح والإلغاء، والتدقيق المستمر الذي يحوّل السجلات إلى آلية للمساءلة. مهمتنا هي تزويدك بسلسلة قابلة للفحص في كل حلقة. مهمتك هي إدارتها. إذا كنت ترغب في تقييم هذه السلسلة وفقًا لنموذج التهديدات الخاص بك وتحديد نقاط الضعف فيها، فاحجز عرضًا تجريبيًا واطرح أسئلتك الأكثر تعقيدًا.
قراءات ذات صلة
استمر في استكشاف الصفحات الأكثر صلة بهذه الصفحة.
خط الأنابيب ليس حلقة مفرغة: لماذا يُضاعف "التجميع" فقط من معدل الاحتفاظ بالعملاء؟
تعتمد معظم تقنيات التسويق على مسار أحادي الاتجاه، وتُطلق عليه اسم "حلقة". الفرق يكمن في عقدة واحدة - الكتابة العكسية - وهذا هو الفرق بين بنية بيانات قابلة للنسخ وميزة لا يُمكن نسخها. معظم تقنيات التسويق تعمل بنظام أحادي الاتجاه وتُسمّيه "حلقة". الفرق يكمن في عقدة واحدة - الكتابة العكسية - وهو الفرق بين بنية بيانات يُمكن نسخها وميزة لا يُمكن نسخها.
اقرأ المزيد مقالةبرمجيات كخدمة (SaaS) للذكاء الاصطناعي: عندما يكون المستخدم الأساسي لبرنامجك وكيلاً، وليس شخصًا
"برمجيات كخدمة للذكاء الاصطناعي" هو وصف دقيق للبنية، وليس مجرد شعار. عندما يكون الوكيل هو المستهلك الأساسي، يصبح المنتج هو نظام التحكم: من له الحق في التصرف، ومن يتصرف نيابةً عنه، وما هي التكلفة.
اقرأ المزيد مقالةمفردات واحدة، جمهوران: لماذا يجب أن يشترك الذكاء الاصطناعي ولوحات المعلومات في طبقة دلالية مشتركة؟
الأدوات هي الأفعال التي يستخدمها الوكيل. الطبقة الدلالية هي المفردات المشتركة التي تضمن دقة هذه الأفعال. أنشئها مرة واحدة، واستخدمها لخدمة المستخدمين والوكلاء، وسيحمل رمز number نفس المعنى بغض النظر عمن يسأل.
اقرأ المزيد مقالةMCP ليس مجرد موصل، بل هو واجهة إدارة لعصر الوكلاء
يُصوّر معظم التغطية بروتوكول سياق النموذج على أنه مجرد بنية تحتية. أما إعادة الصياغة الأكثر أهمية على مستوى المؤسسة فهي: MCP هو المكان الوحيد القابل للتدقيق حيث يتم تحديد الهوية، والتفويض، والتسجيل، والتحكم في التكاليف لاستخدام أدوات الذكاء الاصطناعي.
اقرأ المزيد مقالةقم بتشغيل منصة عملائك من Claude Code — و Slack
لا يقتصر الأمر على لوحة تحكم أسرع، بل هو نموذج تشغيل مختلف: وكيل مُدار داخل أدوات الذكاء الاصطناعي التي يستخدمها فريقك بالفعل - يجيب ويتصرف بلغة بسيطة، دون تصدير البيانات أو التخلي عن التحكم.
اقرأ المزيد مقالةهوية واحدة، ألف حوار: صوت العلامة التجارية في عصر التخصيص المفرط
التخصيص بدون وحدة العلامة التجارية مجرد ضجيج لا معنى له. هوية ثابتة بدون تخصيص مجرد بث غير ذي صلة. يجمع هذا النظام بين الأمرين معًا.
اقرأ المزيدهل ترغب بمعرفة المزيد؟
حدد موعدًا لمحادثة مع خبراء الاحتفاظ بالعملاء لدينا.