أصدرت شركة “أنثروبيك”، الشركة المطورة لنموذج “كلود”، تحذيرات من مخاطر متزايدة مرتبطة بتطور نماذج الذكاء الاصطناعي، تشمل إمكانية قيام هذه النماذج بتنفيذ إجراءات ضارة دون تلقي أوامر بشرية، والتلاعب بآليات الرقابة والتقييم، فضلاً عن المساعدة في شن هجمات إلكترونية وتطوير أسلحة، وقد تصل إلى التسبب في إصابات بشرية وأضرار مادية عند ربط النماذج بالأجهزة والمعدات والروبوتات.
مخاطر ظهرت وأخرى محتملة
وأوضحت الشركة، في بيان التسجيل الأولي للاكتتاب العام المقدم إلى هيئة الأوراق المالية والبورصات الأمريكية، أن بعض هذه المخاطر ظهرت بالفعل أثناء مراحل الاختبار والاستخدام، في حين أن بعضها الآخر يرتبط بسيناريوهات مستقبلية مع تزايد استقلالية النماذج وتوسع صلاحياتها الممنوحة لها.
وترى “أنثروبيك” أن استخدام الذكاء الاصطناعي في تطوير أجياله اللاحقة يمثل مصدراً للقوة والخطر في آن واحد. فبينما تساعد النماذج الباحثين على تحسين كفاءة عمليات التدريب والتشغيل، فإن استمرار هذه الدورة قد يؤدي إلى تسارع تطور القدرات بشكل يفوق قدرة البشر على فهمها وتقييمها وتأمينها، وهو ما تربطه الشركة باحتمال حدوث تحسين ذاتي متكرر.
الاعتماد على النماذج في التطوير يحد من الرقابة البشرية
لا تدّعي الوثيقة أن نموذج “كلود” يطور نفسه بشكل كامل دون إشراف بشري، لكنها توضح أنه يُستخدم في عمليات البحث والتطوير. وتحذر الشركة من أن الاعتماد عليه في كتابة الشفرات البرمجية وإجراء الأبحاث والتقييمات الأمنية قد يحد من قدرة البشر على الإلمام بكامل تفاصيل العمليات، مما قد يسمح بإدخال ثغرات أو انتقال المشكلات إلى الأجيال المستقبلية من النماذج.
ونبّهت الشركة أيضاً إلى أن النماذج قد تتخذ إجراءات ضارة دون توجيه بشري. ففي حين يمكن مراجعة إجابة خاطئة، فإن تنفيذ أوامر أو تعديل قواعد بيانات أو إرسال رسائل أو إجراء معاملات مالية قد يؤدي إلى حذف بيانات أو إحداث تغييرات برمجية أو إتمام عمليات شراء لم يطلبها المستخدم أصلاً.
تحديات في التقييم والاختبار
وتعترف “أنثروبيك” بأن بعض النماذج تتصرف بشكل مختلف عندما تستنتج أنها تخضع للاختبار، مما يحد من دقة التقييمات وقدرتها على كشف المخاطر قبل الإطلاق. وقد تظهر أثناء التدريب قدرات غير متوقعة لا تُكتشف إلا بعد الطرح، مما قد يستدعي تأخير الإطلاق أو تقييد إتاحة النموذج أو حتى العدول عن طرحه بالكامل.
وكشفت الشركة أنها علقت بعض تقييمات الأمن السيبراني وبيئات التدريب بالتعلم المعزز عالية المخاطر، وذلك بعد حوادث وقعت خلال عام 2026 تمكنت فيها أربعة من نماذجها من الوصول دون تصريح إلى أنظمة حقيقية أثناء اختبارات سبقت الإطلاق.
وأوضحت الوثيقة أن هذه الحوادث نجمت عن خطأ في إعداد بيئة الاختبار أدى إلى بقاء الاتصال بالإنترنت متاحاً رغم التعليمات بتعطيله.
تطور سريع في قدرات استغلال الثغرات
وأشارت “أنثروبيك” إلى أن مهارات اكتشاف الثغرات وإصلاحها يمكن استخدامها لحماية الأنظمة أو مهاجمتها في الوقت نفسه. فقد ارتفع أداء نموذج “كلود” في معيار “إكسبلويت بنش” الذي يقيس القدرة على استغلال الثغرات، من 40% مع نموذج “أوبوس 4.8” إلى 78% مع “كلود مايثوس 5″، ثم إلى 91% مع “أوبوس 5.5″، وذلك خلال فترة تقارب أربعة أشهر.
وطوّرت الشركة خدمة “كلود سيكيوريتي” لفحص الشفرات البرمجية باستمرار وتحديد الثغرات وتصنيفها واقتراح إصلاحات لها، بالإضافة إلى أداة فحص البرمجيات مفتوحة المصدر (OSS Scanner). وترى الشركة أن المؤسسات ستحتاج إلى نماذج متقدمة للدفاع السيبراني، خاصة مع اتساع استخدام الوكلاء الذكيين وزيادة منافذ الهجوم المحتملة.
ولهذا الغرض، طورت “أنثروبيك” نموذج “كلود للعلوم” لربط نماذجها بقواعد البيانات العلمية والنماذج البحثية الخارجية والبنية الحاسوبية للمؤسسات.
