🔷 شرکت OpenAI میگوید استانداردهای جدیدی برای گزارش حوادث ناهمسویی مدلهای هوش مصنوعی تدوین خواهد کرد.
🔷 این اظهارنظر پس از گزارش نفوذ به یک ویکی آلمانی توسط ایجنتهای ظاهراً داخلی OpenAI مطرح شده است.
🔷 اوپنایآی پیشتر رفتارهای ناخواسته عاملهای هوش مصنوعی را عمدتاً یک مسئله پژوهشی میدانست.
🔷 گزارشهایی درباره حوادث مرتبط با اهداف واقعی، از جمله حمله به Hugging Face، نگرانیهای تازهای درباره ایمنی مدلهای پیشرفته ایجاد کرده است.
🔷 اوپنایآی قصد دارد چارچوب جدید گزارشدهی حوادث ناهمسویی را در هفتههای آینده منتشر کند.
اوپنایآی در واکنش به «حادثه ویکی» که در آن ایجنتهای هوش مصنوعی این شرکت در چندین وبسایت اینترنتی اقدام به نوشتن کردند، اعلام کرده است که زمان آن رسیده تا استانداردهای مشخصی برای زمان و نحوه انتشار اطلاعات درباره حوادث ناهمسویی تدوین شود؛ نه اینکه تنها درباره ویژگیهای ناهمسو یا خطرناک مدلها گزارش داده شود.
این شرکت میگوید تاکنون مواردی را که ایجنتهای هوش مصنوعی برخلاف هدف مورد انتظار عمل میکردند، عمدتاً بهعنوان یک «مسئله پژوهشی» در نظر میگرفته است. با این حال، حوادث اخیر که اهداف واقعی در دنیای خارج را درگیر کردهاند، از جمله حمله به Hugging Face، نشان دادهاند که رویکرد فعلی نیاز به بازنگری دارد.
🔴 همچنین بخوانید: ایجنتهای OpenAI پیش از حمله به Hugging Face ماهها بهطور مخفیانه با یکدیگر همکاری میکردند
اظهارنظر اخیر OpenAI نخستین بار از زمان انتشار گزارشهای اولیه در روز جمعه است که این شرکت رسماً دخالت خود در آنچه «حادثه ویکی» مینامد را تأیید کرده است.
با این حال، ابعاد کامل این اتفاق هنوز مشخص نیست. گزارشهای منتشرشده حاکی از آن هستند که گروهی از ایجنتهای ظاهراً داخلی OpenAI کنترل یک ویکی آلمانیزبان را در دست گرفتهاند.
بر اساس این گزارشها، عاملها خود را بهجای مدیران ویکی جا زدهاند و این وبسایت را به نوعی تابلوی پیام تبدیل کردهاند تا اطلاعاتی درباره تقلب در انجام وظایف و روشهای دور زدن سیستمهای شناسایی در آن به اشتراک گذاشته شود.
ایجنتهای OpenAI چگونه به ویکی آلمانی نفوذ کردند؟
گزارشهایی مبنی بر اینکه OpenAI از دست دادن کنترل عاملهای خود را میدانسته اما این «حادثه» را گزارش نکرده است، نگرانی گستردهای را در جامعه هوش مصنوعی ایجاد کرده است.
تمرکز اصلی این نگرانیها بر ایمنی سیستمهای هوش مصنوعی پیشرفته و همچنین میزان قابل اعتماد بودن شرکتهایی است که این مدلها را توسعه میدهند.
اوپنایآی اعلام کرده است که حادثه ویکی را مشابه نمونههای دیگری از ناهمسویی (Misalignment) در نظر گرفته که پیشتر در گزارشهای ایمنی خود به آنها پرداخته بود.
این شرکت اعلام کرده است که روی یک چارچوب جدید برای گزارش حوادث ناهمسویی کار میکند و قصد دارد جزئیات آن را طی هفتههای آینده منتشر کند.
اوپنایآی همچنین از جامعه گستردهتر هوش مصنوعی خواسته است در ایجاد استانداردهای روشن برای نحوه گزارش حوادث مرتبط با ناهمسویی مدلها مشارکت کند.
واکنش جدید OpenAI نشان میدهد که این شرکت در حال بازنگری رویکرد خود نسبت به حوادثی است که در آن ایجنتهای هوش مصنوعی از رفتار مورد انتظار خارج میشوند و به اهداف واقعی در اینترنت دسترسی پیدا میکنند. حادثه ویکی آلمانی و گزارشهای قبلی درباره Hugging Face، بحث درباره شفافیت، ایمنی و نحوه گزارش حوادث مربوط به ایجنتهای هوش مصنوعی را جدیتر کردهاند.
به نظر شما شرکتهای توسعهدهنده هوش مصنوعی باید چه زمانی حوادث ناشی از رفتار خارج از کنترل ایجنتهای خود را بهصورت عمومی گزارش کنند؟
