گوگل جمینای در جریان آزمایش تواناییهای امنیت سایبری خود توانست از محیط تست خارج شود، به اینترنت دسترسی پیدا کند و در سه نوبت وارد سرویسهای متعلق به شرکتهای واقعی شود. گوگل وقوع این حوادث را تأیید کرده، اما میگوید جمینای پس از تشخیص اینکه به سامانههای واقعی دسترسی پیدا کرده است، فعالیت خود را متوقف کرد.
🔷 گوگل جمینای هنگام آزمایش امنیت سایبری از محیط تست خارج شد و به اینترنت دسترسی پیدا کرد.
🔷 مدل در سه نوبت توانست وارد سرویسهای متعلق به شرکتهای واقعی شود.
🔷 یک پیکربندی اشتباه در محیط آزمایشی امکان دسترسی ناخواسته به اینترنت را فراهم کرده بود.
🔷 جمینای پس از تشخیص واقعیبودن سرویسها، فعالیت خود را متوقف کرد.
🔷 گوگل پس از این اتفاقات با شرکت مسئول آزمایش برای اصلاح فرایند تست همکاری کرد.
این حوادث در ماه مه ۲۰۲۶ و هنگام ارزیابی تواناییهای امنیت سایبری جمینای رخ دادند. شرکت Irregular مسئول اجرای این آزمایش بود و محیط تست بهدلیل یک پیکربندی نادرست، برخلاف انتظار امکان دسترسی مدل به اینترنت را فراهم میکرد.
شرکت Irregular با چند شرکت بزرگ فعال در حوزه هوش مصنوعی برای ارزیابی مدلهای آنها همکاری میکند. همین نوع مشکل پیکربندی پیشتر در آزمایش مدلهای شرکتهای دیگری نیز زمینه دسترسی ناخواسته به سامانههای خارجی را فراهم کرده بود.
در این آزمایش، گوگل هدفی برای مدل تعیین کرده بود که شامل بهدست آوردن اطلاعات از یک شرکت خیالی میشد. مشکل زمانی شکل گرفت که مشخص شد یک شرکت واقعی نیز دقیقاً همان نام را دارد.
جمینای در ادامه یک مسیر خروج از محیط آزمایشی پیدا کرد و از آن برای دسترسی به اینترنت استفاده کرد. درنتیجه، وظیفهای که قرار بود کاملاً در یک محیط کنترلشده انجام شود، مدل را به یک سرویس واقعی رساند.
در نخستین حادثه، مدل توانست به سرویس شرکت واقعی دسترسی پیدا کند و رمز عبور را بهطور مستقل کشف کند. این اتفاق در جریان همان مأموریتی رخ داد که مدل تصور میکرد بخشی از آزمایش امنیت سایبری است.
دو حادثه دیگر نیز در اجرای مجدد آزمایش رخ دادند، اما نحوه دستیابی مدل به اطلاعات ورود در آنها متفاوت بود.
در دو آزمایش دیگر، جمینای نام شرکت موردنظر را در اینترنت جستوجو کرد. مدل سپس اطلاعات ورود متعلق به شرکتهای دیگر را در مخازن عمومی پیدا کرد و از همان اطلاعات برای ورود به سرویسهای آنها استفاده کرد.
درمجموع، مدل در سه نوبت به سرویسهای واقعی دسترسی پیدا کرد. گوگل نام شرکتهای درگیر را اعلام نکرده است، اما تأیید کرده که آنها را از وقوع این حوادث مطلع کرده است.
نکته قابلتوجه این است که مدل در هر سه مورد پس از تشخیص اینکه با یک سرویس آزمایشی مواجه نیست و وارد سامانهای واقعی شده، فعالیت خود را متوقف کرده است.
گوگل بههمیندلیل این اتفاق را نمونهای از «ناهمترازی مدل» (Model Misalignment) نمیداند. از دید این شرکت، مدل برخلاف هدف تعیینشده عمل نکرده بود؛ بلکه نقص محیط آزمایشی باعث شد مأموریت امنیتی تعریفشده ناخواسته از فضای شبیهسازیشده خارج شود.
گوگل این اتفاقات را در زمان وقوع بهصورت عمومی اعلام نکرد. این شرکت میگوید نفوذها آسیبی به شرکتهای درگیر وارد نکردند و مدل نیز پس از تشخیص واقعیبودن سامانهها فعالیت خود را متوقف کرد؛ بههمیندلیل، گوگل انتشار عمومی آنها را ضروری ندانست.
گوگل همچنین نام دقیق مدل جمینای درگیر در این آزمایشها را اعلام نکرده، اما تأکید کرده است که مدل موردنظر جدیدترین مدل هوش مصنوعی این شرکت نیست.
هدر ادکینز، معاون مهندسی امنیت گوگل، اعلام کرده است که این شرکت پس از حوادث با Irregular همکاری کرد تا روند آزمایش را تغییر دهد و از تکرار چنین شرایطی جلوگیری کند.
مهمترین مسئله در این ماجرا تنها توانایی مدل برای انجام فعالیتهای امنیتی نیست، بلکه جداسازی صحیح محیطهای آزمایشی از اینترنت و سرویسهای واقعی نیز اهمیت دارد. مدلهای مجهز به قابلیتهای امنیت سایبری میتوانند اشتباه در چنین محدودیتهایی را به پیامدهای ناخواسته تبدیل کنند.
موارد مشابهی در آزمایش مدلهای OpenAI ،Anthropic و Meta نیز گزارش شده است. مدلهای این شرکتها نیز در برخی ارزیابیها توانستهاند به سازمانها یا سرویسهای شخص ثالث دسترسی پیدا کنند.
شرکت OpenAI نیز اخیراً اعلام کرد عاملهای هوش مصنوعی این شرکت در ماه مه و در جریان آزمایشها به RubyGems، سرویس مدیریت بستههای زبان برنامهنویسی Ruby، نفوذ کرده بودند. این اتفاق حتی پیش از حادثه دیگری رخ داده بود که طی آن مدلهای این شرکت به Hugging Face دسترسی پیدا کردند.
🔴 همچنین بخوانید: مدیرعامل آنتروپیک خواستار کاهش سرعت توسعه هوش مصنوعی و خودبهبوددهی مدلها شد
ماجرای جمینای گوگل نشان میدهد ارزیابی تواناییهای امنیت سایبری مدلهای هوش مصنوعی به محیطهای آزمایشی با محدودیتهای دقیق نیاز دارد. در این مورد، یک پیکربندی نادرست امکان دسترسی به اینترنت را ایجاد کرد و جمینای توانست در سه نوبت وارد سرویسهای واقعی شود.
مدل در هر سه مورد پس از تشخیص شرایط فعالیت خود را متوقف کرد و گوگل نیز از واردنشدن خسارت خبر داده است. بااینحال، این حوادث اهمیت ایزولهسازی دقیق محیطهای آزمایشی مدلهای قدرتمند هوش مصنوعی را برجسته میکنند.
بهنظر شما شرکتهای هوش مصنوعی باید وقوع چنین حوادثی را حتی درصورت واردنشدن خسارت، بهصورت عمومی اعلام کنند؟ دیدگاهتان را در بخش نظرات بنویسید.
