قدمت مايكروسوفت مجموعة أدوات جديدة مفتوحة المصدر تركز على أمان وقت التشغيل لفرض حوكمة أكثر صرامة على وكلاء الذكاء الاصطناعي للمؤسسات.
تم تصميم مجموعة الأدوات هذه حول أمان وقت التشغيل، لمعالجة المخاوف من أن نماذج اللغة الحديثة لم تعد تقتصر على الأدوار الاستشارية، بل تقوم بتنفيذ التعليمات البرمجية والتفاعل بنشاط مع الأنظمة الداخلية. وتواجه الضمانات التقليدية مثل فحوصات التعليمات البرمجية الثابتة وعمليات الفحص قبل النشر صعوبة في مواكبة هذه السلوكيات الديناميكية.
ركزت عمليات النشر السابقة للذكاء الاصطناعي بشكل كبير على المساعدين المشتركين (copilots) ذوي الوصول المقيد للقراءة فقط، مع إبقاء البشر مسؤولين عن التنفيذ. يتغير هذا النموذج الآن. وتدمج الشركات الآن أنظمة وكيلة قادرة على اتخاذ إجراءات مستقلة عبر واجهات برمجة التطبيقات (APIs)، والبيئات السحابية، وخطوط أنابيب التطوير.
في مثل هذه الإعدادات، يمكن لوكيل الذكاء الاصطناعي تحليل بريد إلكتروني، وإنشاء نص برمجي، ونشره على خادم دون تدخل بشري. وقد يؤدي تعليمات خاطئة واحدة أو حقن توجيه (prompt injection) إلى تغييرات غير مقصودة في قواعد البيانات أو الكشف عن معلومات حساسة. تعالج مجموعة الأدوات الجديدة هذا الخطر من خلال مراقبة الإجراءات فور حدوثها والتدخل في الوقت الفعلي بدلاً من الاعتماد على الضوابط المحددة مسبقًا.
يركز النظام على كيفية تفاعل وكلاء الذكاء الاصطناعي مع الأدوات الخارجية. عندما يحتاج النموذج إلى تنفيذ إجراء يتجاوز معالجته الداخلية، مثل الاستعلام عن نظام مؤسسي، فإنه ينشئ أمرًا موجهًا لتلك الأداة.
تُدرج مايكروسوفت طبقة لفرض السياسات بين النموذج وشبكة الشركة. يتم اعتراض كل طلب صادر وتقييمه مقابل قواعد الحوكمة المحددة مسبقًا قبل التنفيذ. إذا انتهك إجراء ما السياسة، على سبيل المثال محاولة وكيل بدء معاملة على الرغم من كونه مقيدًا بالوصول للقراءة فقط، يتم حظر الطلب وتسجيله للمراجعة.
يخلق هذا النهج مسارًا قابلاً للتدقيق للقرارات مع إزالة الحاجة للمطورين لتضمين قيود الأمان في كل توجيه أو سير عمل. تنتقل الحوكمة بعيدًا عن منطق التطبيق وتتجه نحو ضوابط على مستوى البنية التحتية.
يعمل الإطار أيضًا كطبقة عازلة للأنظمة القديمة (legacy systems)، والتي لم يتم تصميم العديد منها للتعامل مع المدخلات غير المتوقعة التي يتم إنشاؤها آليًا. من خلال تصفية الطلبات والتحقق من صحتها قبل وصولها إلى الأنظمة الأساسية، فإنه يحد من المخاطر التي يشكلها سلوك الذكاء الاصطناعي المخترق أو المضلل.
يرتبط قرار مايكروسوفت بإصدار مجموعة الأدوات كمفتوحة المصدر بممارسات التطوير الحالية. غالبًا ما تعتمد الفرق التي تبني مسارات عمل الذكاء الاصطناعي على مزيج من الأدوات والنماذج التابعة لجهات خارجية. يمكن تجاوز الحلول الاحتكارية لصالح بدائل أسرع. يسمح التوفر المفتوح بدمج الضوابط عبر بيئات متنوعة، بما في ذلك الأنظمة التي تستخدم نماذج من منافسين مثل Anthropic.
كما يفتح الباب أمام شركات الأمن السيبراني لبناء طبقات مراقبة واستجابة إضافية فوق الإطار، مما يساعد على إنشاء أساس مشترك لتأمين العمليات المدفوعة بالذكاء الاصطناعي.
الأمان هو جزء واحد فقط من التحدي. فكلاء الذكاء الاصطناعي المستقلون يُدخلون أيضًا مخاطر مالية وتشغيلية، خاصة من خلال الاستخدام غير المقيد لواجهة برمجة التطبيقات (API).
تعمل هذه الأنظمة في حلقات متواصلة، وتقوم بإجراء استدعاءات متكررة للخدمات الخارجية. بدون قيود، يمكن حتى لمهمة بسيطة أن تُطلق آلاف الاستعلامات لقواعد البيانات أو واجهات برمجة التطبيقات المدفوعة، مما يرفع التكاليف بسرعة. في الحالات القصوى، يمكن للوكلاء ذوي التكوين الخاطئ الدخول في دورات متكررة تستهلك كميات كبيرة من موارد الحوسبة في وقت قصير.
تسمح مجموعة الأدوات للمؤسسات بتحديد حدود صارمة على استخدام الرموز (tokens) وتكرار الطلبات. من خلال التحكم في عدد المرات التي يمكن للوكيل أن يتصرف فيها خلال فترة زمنية معينة، يمكن للشركات إدارة الإنفاق بشكل أفضل ومنع العمليات الجامحة.
تدعم المراقبة في وقت التشغيل أيضًا متطلبات الامتثال من خلال توفير ضوابط قابلة للقياس وسجلات تدقيق واضحة. تنتقل المسؤولية بعيدًا عن مزودي النماذج وتتجه نحو الأنظمة التي تنفذ القرارات في بيئات العالم الحقيقي.
سيتطلب تطبيق أطر الحوكمة هذه تنسيقًا بين فرق الهندسة، والشؤون القانونية، والأمن. مع تولي أنظمة الذكاء الاصطناعي أدوارًا أكثر استقلالية، تصبح البنية التحتية التي تدير سلوكها محورية للنشر الآمن.
يأتي هذا الإصدار جنبًا إلى جنب مع الاستثمار المستمر في البنية التحتية للذكاء الاصطناعي. حددت مايكروسوفت مؤخرًا خططًا لالتزام بمبلغ 10 مليارات دولار في اليابان على مدى السنوات الأربع القادمة، مع التركيز على مراكز البيانات والأنظمة الداعمة.
جاء الإعلان بعد محادثات بين رئيس مايكروسوفت براد سميث ورئيسة وزراء اليابان سانا تاكايتشي في طوكيو. وصف سميث الاستثمار بأنه "استجابة لحاجة اليابان المتزايدة لخدمات السحابة والذكاء الاصطناعي".
تعمل الشركة مع مجموعة سوفت بنك وساكورا إنترنت لتوسيع البنية التحتية المحلية. يستند هذا الالتزام الأخير إلى خطة بقيمة 2.9 مليار دولار أُعلن عنها في عام 2024 تهدف إلى تعزيز قدرات الذكاء الاصطناعي ومرونة الأمن السيبراني في البلاد.
