آنتروپیک: مدل‌های Claude در آزمایش‌های امنیتی به سامانه‌های سه سازمان نفوذ کردند

خلاصه خبر در یک نگاه:

🔷 آنتروپیک اعلام کرد سه مدل Claude در آزمایش‌های امنیتی به سامانه‌های واقعی سه سازمان دسترسی پیدا کردند.
🔷 بررسی‌ها نشان می‌دهد علت اصلی رخداد، پیکربندی نادرست محیط آزمایشی و باز بودن مسیر دسترسی به اینترنت بوده است.
🔷 آنتروپیک تأکید می‌کند هیچ نشانه‌ای از رفتار خودمختار یا هدف مستقل در مدل‌های هوش مصنوعی مشاهده نشده است.
🔷 این شرکت قصد دارد کنترل‌های امنیتی سخت‌گیرانه‌تر و یک بررسی مستقل را برای ارزیابی این رخدادها اجرا کند.

آنتروپیک چگونه این رخدادها را کشف کرد؟

آنتروپیک پس از انتشار گزارش OpenAI در ۳۱ تیر ۱۴۰۵ درباره رخداد امنیتی یکی از مدل‌های آزمایشی خود، بررسی گسترده‌ای روی ارزیابی‌های امنیت سایبری Claude آغاز کرد. این شرکت با این بررسی تلاش کرد شواهدی از دسترسی مدل‌ها به اینترنت از داخل محیط‌های ایزوله آزمایشی پیدا کند.

این شرکت ۱۴۱ هزار و ۶ پرونده آزمایشی را بررسی کرد و در نهایت سه مورد را شناسایی کرد که طی آن مدل‌های Claude هنگام همکاری با شریک ثالث خود، Irregular، به اینترنت دسترسی پیدا کرده بودند.

علت دسترسی مدل‌های Claude به سامانه‌های واقعی چه بود؟

براساس توضیحات آنتروپیک، یک پیکربندی نادرست در محیط ارزیابی متعلق به Irregular این رخداد را رقم زد. دو شرکت درباره وجود یا نبود دسترسی اینترنت در این محیط برداشت متفاوتی داشتند، اما در عمل مسیر ارتباطی با اینترنت باز مانده بود.

آنتروپیک اعلام کرد مسئولیت این مشکل را متوجه شریک تجاری خود نمی‌داند و اصلاح آن را با این فرض پیش می‌برد که مسئولیت برعهده خود شرکت است. درعین‌حال، Irregular نیز تحقیقات مستقلی را آغاز کرده است.

کدام مدل‌های Claude در این رخداد نقش داشتند؟

مدل‌های Claude Opus 4.7، Mythos 5 و یک مدل تحقیقاتی داخلی در رخدادهای امنیتی آنتروپیک نقش داشتند.

به‌گفته آنتروپیک، سه رخداد به سه مدل متفاوت مربوط بوده‌اند:

• Claude Opus 4.7
• Claude Mythos 5
• یک مدل داخلی آزمایشی برای تحقیق‌وتوسعه

نکته قابل‌توجه این است که پژوهشگران در هر سه آزمایش به‌طور صریح به مدل‌ها اعلام کردند که به اینترنت دسترسی ندارند. بااین‌حال، مدل‌ها سامانه‌های واقعی را بخشی از سناریوی آزمایشی فرض کردند.

رفتار هر مدل چگونه بود؟

به‌گفته آنتروپیک، رفتار سه مدل یکسان نبود. Opus 4.7 در تمامی اجراها تشخیص داد که وارد سامانه عملیاتی واقعی شده است، اما همچنان به انجام وظیفه ادامه داد و حتی به اعتبارنامه‌ها و یک پایگاه داده عملیاتی دسترسی پیدا کرد.

Mythos 5 نیز نشانه‌های حضور در اینترنت واقعی را تشخیص داد، اما در ادامه این فرض را پذیرفت که همچنان در یک محیط شبیه‌سازی قرار دارد. سپس یک بسته نرم‌افزاری مخرب را در مخزن عمومی PyPI منتشر کرد. برخی سامانه‌های خارجی این بسته را پیش از شناسایی دانلود و اجرا کردند.

درمقابل، جدیدترین مدل تحقیقاتی آنتروپیک پس از آنکه به این نتیجه رسید هدف واقعی است، فعالیت خود را متوقف کرد و به حمله ادامه نداد.

🔴 همچنین بخوانید:‌ زنگ خطر برای حریم خصوصی؛ چت‌های اشتراک‌گذاری‌شده Claude در نتایج گوگل ظاهر شدند!

آنتروپیک چه اقداماتی انجام خواهد داد؟

آنتروپیک اعلام کرد تیم‌های توسعه باید ارزیابی مدل‌های قدرتمند هوش مصنوعی را با کنترل‌های امنیتی بسیار سخت‌گیرانه‌تری انجام دهند.

این شرکت همچنین توضیح داد که در این آزمایش‌ها مدل‌های Claude را بدون سامانه‌های نظارتی و طبقه‌بندهای امنیتی نسخه‌های عمومی اجرا کرد، زیرا هدف این ارزیابی‌ها سنجش توانایی خام مدل‌ها بود.

آنتروپیک تأکید کرد بررسی‌های این شرکت هیچ مدرکی از رفتار خودمختار یا دنبال کردن هدفی مستقل در مدل‌ها پیدا نکرد و مدل‌های Claude تنها تلاش کردند وظیفه‌ای را که پژوهشگران به آن‌ها سپرده بودند انجام دهند.

بررسی جدید آنتروپیک بر اهمیت ایزوله‌سازی مدل‌های هوش مصنوعی تأکید دارد.

تفاوت این رخداد با حادثه OpenAI چیست؟

آنتروپیک توضیح داد که مدل OpenAI با سوءاستفاده از یک آسیب‌پذیری نرم‌افزاری ناشناخته از محیط آزمایشی خارج شد، اما مدل‌های Claude از مسیر اینترنتی استفاده کردند که پیکربندی نادرست آن را باز گذاشته بود.

این شرکت همچنین اعلام کرد تیم امنیتی آنتروپیک در جریان یک بررسی پیشگیرانه این رخدادها را شناسایی کرد. افزون‌بر این، سازمان‌های آسیب‌دیده پیش از دریافت گزارش آنتروپیک این فعالیت‌ها را تشخیص ندادند.

آنتروپیک در ادامه اعلام کرد برای بررسی مستقل این رخدادها با گروه ارزیابی METR همکاری خواهد کرد.

🔴 همچنین بخوانید:‌ شرکت OpenAI تأیید کرد مدل‌هایش به‌صورت خودکار Hugging Face را هک کرده‌اند

جمع‌بندی

گزارش جدید آنتروپیک نشان می‌دهد که حتی یک پیکربندی نادرست در محیط‌های آزمایشی می‌تواند مسیر دسترسی مدل‌های هوش مصنوعی به سامانه‌های واقعی را باز کند. آنتروپیک تأکید می‌کند بررسی‌های این شرکت هیچ نشانه‌ای از رفتار مستقل مدل‌های Claude نشان نداد. بااین‌حال، این رخداد بار دیگر اهمیت طراحی محیط‌های ایزوله و اجرای کنترل‌های امنیتی دقیق در توسعه مدل‌های پیشرفته هوش مصنوعی را نشان می‌دهد.

به‌نظر شما، شرکت‌های توسعه‌دهنده هوش مصنوعی باید چه تدابیر امنیتی بیشتری برای جلوگیری از رخدادهای مشابه در نظر بگیرند؟ دیدگاه خود را در بخش نظرات با ما به‌اشتراک بگذارید.