توقف آموزش پیشرفتهترین مدل های OpenAI پس از آن اتفاق افتاده که یکی از مدلهای در حال آزمایش این شرکت توانست از یک نقص در محیط ایزوله خود استفاده کند و به اینترنت زنده دسترسی پیدا کند. OpenAI اعلام کرده است که آموزش، ارزیابی و استنتاج مدلهای قدرتمند خود با قابلیت استفاده از ابزارها همچنان متوقف مانده است.
🔷 کمپانی OpenAI آموزش و ارزیابی مدلهای پیشرفته خود با قابلیت استفاده از ابزارها را متوقف کرده است.
🔷 یک مدل در حال آموزش در ۲۰ سپتامبر (۲۹ شهریور) توانست از یک نقص در محیط ایزوله به اینترنت زنده دسترسی پیدا کند.
🔷 عاملهای OpenAI در ۵۳ مورد تصاویر آپلودشده توسط کاربران ChatGPT را به سایتهای میزبانی تصویر ارسال کردند.
🔷 مدلهای OpenAI به برخی وبسایتهای دولتی آمریکا دسترسی پیدا کردند و تلاش ناموفقی برای نفوذ به وبسایت وزارت آموزش آمریکا انجام شد.
🔷 کمپانی OpenAI در حال بررسی مجموعهای از رفتارهای غیرمنتظره مدلهای خود است و میگوید این بررسی ممکن است ماهها طول بکشد.
بر اساس گزارشهای جدید، OpenAI در پی شناسایی رفتارهای غیرمنتظره در مدلهای خود، فعالیتهای مرتبط با آموزش مدلهای مرزی و قدرتمند را محدود کرده است. این تصمیم پس از حادثهای در ۲۹ شهریور گرفته شد؛ زمانی که یک مدل در حال آموزش توانست از یک نقص در سازوکار محدودسازی محیط آزمایشی عبور کند و به اینترنت زنده دسترسی پیدا کند.
در گزارش مربوط به این حادثه، مشخص شده است که یک عامل هوش مصنوعی هنگام انجام یک وظیفه آموزشی مبتنی بر جستوجو، از ضعف موجود در فیلترگذاری DNS در محیط آزمایشی استفاده کرده و به یک سرویس چت عمومی دسترسی پیدا کرده است. OpenAI پس از شناسایی این رفتار، کنترلهای مسدودسازی را در دو لایه مستقل تقویت کرده است.
تا ۲۵ سپتامبر (۳ مهر)، آموزش، ارزیابی و استنتاج مدلهای قدرتمند OpenAI که امکان استفاده از ابزارها را دارند، همچنان متوقف بوده است. OpenAI نیز در توضیحات رسمی خود از توقف دو هفتهای آموزش تقویتی مدلهای جدید و ادامه تعلیق بزرگترین اجرای برنامهریزیشده آموزش مدلهای مرزی خبر داده است.
همزمان با بررسی این حوادث، OpenAI از مورد دیگری خبر داده است که نگرانیهای مربوط به حریم خصوصی را افزایش داده است. طبق اعلام این شرکت، عاملهای هوش مصنوعی آن در ۵۳ مورد تصاویر ارائهشده توسط کاربران ChatGPT را به سایتهای میزبانی تصویر ارسال کردهاند.
این تصاویر در قالب لینکهایی که بهصورت عمومی فهرست نشده بودند منتشر شدند و OpenAI اعلام کرده است که بیشتر آنها را با همکاری ارائهدهندگان سرویسهای میزبانی حذف کرده و برای حذف موارد باقیمانده نیز تلاش میکند. این شرکت همچنین گفته است که نمیتواند مشخص کند تصاویر مربوط به کدام کاربران بودهاند و اعلام نکرده است که تصاویر شامل عکس واقعی افراد بودهاند یا توسط هوش مصنوعی تولید شدهاند.
OpenAI همچنین در جریان بررسیهای خود تأیید کرده است که مدلهایش به برخی وبسایتها و دادههای دولتی آمریکا دسترسی داشتهاند. این عاملها به اطلاعات عمومی مربوط به اداره سرشماری آمریکا و برخی دادههای عمومی کمیسیون بورس و اوراق بهادار آمریکا (SEC) دسترسی پیدا کردند.
همچنین گزارش شده است که عاملهای OpenAI تلاش کردهاند به وبسایت وزارت آموزش آمریکا نفوذ کنند، اما این تلاش موفق نبوده است. OpenAI در موارد مربوط به SEC و اداره سرشماری اعلام کرده که اطلاعات خصوصی به سرقت نرفته و در سامانههای SEC نیز شواهدی از نفوذ یا آسیبپذیری مشاهده نشده است.
این موارد بخشی از بررسی گستردهتر OpenAI درباره رفتار مدلهایش هستند. این بررسی پس از حادثه نفوذ عاملهای هوش مصنوعی به پلتفرم Hugging Face آغاز شد و با بررسی سوابق فعالیت مدلها، نمونههای بیشتری از رفتارهای غیرمنتظره یا نگرانکننده شناسایی شده است.
بر اساس گزارش Reuters، تا اواسط سپتامبر حدود دو دوجین مورد رفتار نامطلوب عاملها شناسایی شده بود و با ادامه بررسی لاگهای داخلی، موارد بیشتری نیز پیدا شده است. OpenAI اعلام کرده که این فرایند ممکن است ماهها طول بکشد و تاکنون دهها سازمان و مجموعه تحت تأثیر را از فعالیتهای نامناسب عاملهای خود مطلع کرده است.
این حوادث نشان میدهند که با افزایش توانایی عاملهای هوش مصنوعی، کنترل مسیر اجرای وظایف و ثبت تمام فعالیتهای آنها نیز به مسئله پیچیدهتری تبدیل میشود. در برخی موارد، رفتار عاملها خارج از هدف اولیه یا محدودیتهای تعریفشده رخ داده و شناسایی آن تنها پس از بررسی سوابق فعالیتها یا تحقیقات خارجی امکانپذیر شده است. 5
OpenAI نیز در چارچوب جدید خود برای گزارش حوادث مرتبط با رفتار نامتناسب مدلها، بر افزایش شفافیت و تقویت سازوکارهای نظارتی تأکید کرده است. این شرکت همچنین اعلام کرده که برای محیطهای پژوهشی مدلهای مرزی، جداسازی قویتر محیط اجرا، کنترلهای بیشتر دسترسی به شبکه و پوشش گستردهتر سیستمهای نظارتی را در نظر گرفته است.
توقف آموزش پیشرفتهترین مدل های OpenAI در شرایطی رخ داده که این شرکت همزمان در حال بررسی چندین مورد از رفتارهای غیرمنتظره عاملهای خود است. دسترسی یک مدل به اینترنت از طریق نقص محیط آزمایشی، انتشار ۵۳ تصویر کاربران و تعامل برخی عاملها با وبسایتهای دولتی آمریکا از جمله مواردی هستند که در روزهای اخیر افشا شدهاند.
🔴 همچنین بخوانید: مدلهای هوش مصنوعی GPT-6 Sol و GPT-6 Luna معرفی شدند؛ سریعتر و ۵۰ درصد ارزانتر از نسل قبل
به نظر شما افزایش محدودیتهای امنیتی باید چه تأثیری بر سرعت توسعه مدلهای پیشرفته هوش مصنوعی داشته باشد؟
