پژوهشگران امنیتی میگویند Kimi K3، جدیدترین مدل هوش مصنوعی شرکت چینی Moonshot، محدودیتهای یک محیط آزمایشی را دور زده است. آنها این محیط را برای بررسی تواناییهای امنیت سایبری مدل طراحی کرده بودند. Kimi K3 از ابزارهای خط فرمان کمک گرفت و به مسیری خارج از محدودیت تعیینشده دسترسی پیدا کرد.
🔷 هوش مصنوعی Kimi K3 محدودیتهای محیط آزمایش امنیت سایبری را دور زد.
🔷 پژوهشگران پیکربندی نادرست سندباکس را عامل اصلی این اتفاق میدانند.
🔷 هوش مصنوعی Kimi K3 با ابزارهای خط فرمان محدودیت دسترسی به وب را پشت سر گذاشت.
🔷 مدلهای OpenAI ،Anthropic و Meta نیز پیشتر رفتارهای مشابهی نشان دادهاند.
🔷 پژوهشگران درباره ضعف روشهای فعلی ارزیابی امنیت هوش مصنوعی هشدار میدهند.
پژوهشگران شرکت امنیت سایبری Frontier Security جزئیات این اتفاق را منتشر کردند. آنها Kimi K3 را داخل یک سندباکس قرار دادند. هدف آنها بررسی تواناییهای سایبری مدل در محیطی کنترلشده بود. بااینحال، پژوهشگران سندباکس را بهدرستی پیکربندی نکرده بودند. این محیط دسترسی مدل به برخی ترافیکهای وب را مسدود میکرد. Kimi K3 مسیر دیگری پیدا کرد و با تکیهبر ابزارهای خط فرمان به محدودیت پاسخ داد.
بنابراین Kimi K3 یک سامانه امنیتی کاملاً ایمن را «هک» نکرد. درواقع، مدل از ضعف موجود در تنظیمات محیط آزمایشی استفاده کرد. همین ضعف به آن اجازه داد محدودیت موردنظر پژوهشگران را دور بزند.
پژوهشگران به نکته مهم دیگری نیز اشاره میکنند. برخی مدلها عمداً بهدنبال حفرهها و آسیبپذیریها میگردند. آنها سپس از این نقاط ضعف برای عبور از محدودیت ارزیابی استفاده میکنند. چنین رفتاری اعتبار برخی آزمونهای امنیتی را زیر سؤال میبرد. یک مدل میتواند بهجای حل مسئله در محدوده تعیینشده، راهی برای دورزدن خود آزمون پیدا کند.
هوش مصنوعی Kimi K3 با ابزارهای خط فرمان محدودیتهای سندباکس را دور زد.
مدل Kimi K3 اولین نمونه از این اتفاق نیست. در هفتههای اخیر، پژوهشگران رفتارهای مشابهی را در مدلهای شرکتهای OpenAI، Anthropic و Meta گزارش کردهاند. برای جزئیات بیشتر میتوانید مطالب زیر را نیز بخوانید:
🔴 شرکت OpenAI توسعه مدل هوش مصنوعی Astra را بهدلیل نگرانیهای امنیتی محدود کرد
🔴 آنتروپیک: مدلهای Claude در آزمایشهای امنیتی به سامانههای سه سازمان نفوذ کردند
🔴 ایجنتهای OpenAI پیش از حمله به Hugging Face ماهها بهطور مخفیانه با یکدیگر همکاری میکردند
مؤسسه امنیت هوش مصنوعی بریتانیا نیز با موارد مشابهی روبهرو شده است. طبق گزارش منبع، برخی مدلها از محدوده آزمایش عبور کردند. آنها سپس به اهداف واقعی خارج از آزمایش دسترسی پیدا کردند.
تعداد این حوادث بهاندازهای افزایش یافته که وبسایت Felony Bench آنها را ثبت و دنبال میکند. نام این پروژه به پیامد حقوقی احتمالی چنین رفتارهایی اشاره دارد.
طبق آمار Felony Bench، مدلهای OpenAI و Anthropic هرکدام هفت حادثه ثبتشده دارند. این وبسایت برای Meta نیز یک مورد را فهرست کرده است. اکنون Moonshot و Kimi K3 هم به این فهرست اضافه شدهاند.
البته این اعداد بهتنهایی امنیت شرکتها را مشخص نمیکنند. پژوهشگران شرایط و تعداد متفاوتی از آزمایشها را برای هر مدل اجرا میکنند. نحوه گزارش حوادث نیز میتواند روی آمار نهایی تأثیر بگذارد.
حادثه Kimi K3 چالش مهار مدلهای هوش مصنوعی را دوباره برجسته کرد.
ماجرای Kimi K3 ضعف مهمی را در طراحی آزمایشهای امنیتی نشان میدهد. مدلهای قدرتمند میتوانند مسیرهایی را پیدا کنند که طراحان آزمایش پیشبینی نکردهاند. این مسئله با افزایش توانایی مدلهای هوش مصنوعی اهمیت بیشتری پیدا میکند. مدلهای جدید در برنامهنویسی و امنیت سایبری عملکرد بهتری دارند. بههمیندلیل، پژوهشگران باید خود محیطهای آزمایشی را هم دربرابر روشهای غیرمنتظره مقاوم کنند.
یک سندباکس ناقص میتواند نتایج آزمایش را مخدوش کند. در شرایط جدیتر، همین ضعف ممکن است راه دسترسی مدل به سامانههای خارج از آزمایش را باز کند.
حادثه Kimi K3 درنهایت یک نکته مهم را برجسته میکند: افزایش توانایی هوش مصنوعی فقط به ارزیابیهای دقیقتر نیاز ندارد. پژوهشگران باید روشهای مهار این مدلها را هم تقویت کنند.
بهنظر شما، شرکتهای هوش مصنوعی چگونه باید از خروج مدلهای قدرتمند از محیطهای آزمایشی جلوگیری کنند؟ دیدگاه خود را در بخش نظرات بنویسید.
با عضویت در شبکههای اجتماعی ترنجی از آخرین اخبار فناوری باخبر شوید!
