حساب کاربری ندارید؟ ثبت نام کنید
کمک به موسسه محک

شکایت کالیفرنیا از OpenAI؛ دادستان از بیش از ۸۰ مورد نقص در کنترل عامل‌های هوش مصنوعی می‌گوید

نوشته
| بدون دیدگاه | هوش مصنوعی

ایالت کالیفرنیا با طرح شکایت از OpenAI، این شرکت را به آزمایش مدل‌های خطرناک هوش مصنوعی بدون تدابیر حفاظتی کافی و ارائه اطلاعات گمراه‌کننده به عموم متهم کرده است. به‌گفته دادستان کل کالیفرنیا، OpenAI در جریان آزمایش‌ها بیش از ۸۰ بار کنترل ایجنت‌های خود را از دست داد و حدود ۷۰۰ عامل آزمایشی این شرکت در ماه ژوئیه به زیرساخت پلتفرم Hugging Face حمله کردند. OpenAI می‌گوید تدابیر حفاظتی خود را تقویت کرده و این شکایت شرکت را به‌تنهایی هدف قرار داده است.

خلاصه خبر در یک نگاه:

🔷 شکایت کالیفرنیا از OpenAI به بیش از ۸۰ مورد ازدست‌رفتن کنترل ایجنت‌های آزمایشی مربوط است.
🔷 بنا بر شکایت، حدود ۷۰۰ ایجنت در ماه ژوئیه به زیرساخت Hugging Face حمله کردند.
🔷 کالیفرنیا از دادگاه تغییر شیوه فعالیت OpenAI و اعمال جریمه مدنی را درخواست کرده است.
🔷 شرکت OpenAI می‌گوید به سازمان‌های آسیب‌دیده اطلاع داده و تدابیر حفاظتی را تقویت کرده است.
🔷 این پرونده به محیط‌های آزمایشی مربوط است و فعلاً تغییری برای کاربران ChatGPT ایجاد نمی‌کند.

کالیفرنیا چرا از OpenAI شکایت کرده است؟

راب بونتا، دادستان کل کالیفرنیا، در ۱۶ نوامبر شکایت را در دادگاه عالی سان‌فرانسیسکو ثبت کرد. کالیفرنیا مدعی است OpenAI مدل‌های خطرناک هوش مصنوعی را بدون حفاظت کافی آزمایش کرده و درباره این آزمایش‌ها مردم را گمراه کرده است.

بخش مهمی از پرونده به حمله ماه ژوئیه علیه پلتفرم هوش مصنوعی Hugging Face مربوط می‌شود. بونتا این حمله را «کاملاً قابل‌پیش‌بینی» توصیف کرده و آن را یکی از بیش از ۸۰ مورد ازدست‌رفتن کنترل ایجنت‌های OpenAI دانسته است.

ایجنت‌های OpenAI چگونه به Hugging Face حمله کردند؟

طبق شکایت، حدود ۱۲۰۰ ایجنت از طریق یک سرویس بسته‌های نرم‌افزاری که OpenAI آن را به‌درستی پیکربندی نکرده بود، با یکدیگر ارتباط برقرار کردند. از میان آن‌ها، حدود ۷۰۰ ایجنت بین ۹ تا ۱۶ ژوئیه به زیرساخت Hugging Face حمله کردند.

کالیفرنیا شمار اقدامات مهاجمان را حدود ۱۷٬۶۰۰ مورد برآورد کرده است. رسیدگی به پیامدهای این حمله، تمام اعضای تیم امنیتی Hugging Face را به‌مدت دو هفته و به‌صورت تمام‌وقت درگیر کرد.

این ایجنت‌ها برپایه مدل‌های تحقیقاتی منتشرنشده ساخته شده بودند و از ChatGPT استفاده نمی‌کردند.

مدل‌های OpenAI در آزمایش داخلی موفق به نفوذ به سیستم‌های Hugging Face شدند.

مدل‌های OpenAI در آزمایش داخلی به سیستم‌های Hugging Face نفوذ کردند.

چه سازمان‌های دیگری تحت‌تأثیر قرار گرفتند؟

در شکایت، علاوه‌بر Hugging Face، نام رجیستری بسته‌های نرم‌افزاری RubyGems، بنیاد ویکی‌مدیا و وب‌سایت‌های دولتی استرالیا نیز آمده است. RubyGems بیش از ۵۰۰ بسته را حذف کرد و ایجنت‌ها از وب‌سایت‌های دولتی استرالیا داده‌های غیرعمومی دریافت کردند.

ایجنت‌ها همچنین از یک ویکی آلمانی به‌عنوان محلی برای تبادل پیام استفاده کردند و حدود ۱۷ هزار ویرایش در آن انجام دادند. ده‌ها نهاد دیگر، از جمله سازمان‌های دولتی، مؤسسات آموزشی و کسب‌وکارهای کوچک نیز تحت‌تأثیر قرار گرفتند، اما نام آن‌ها در شکایت نیامده است.

OpenAI پیش‌تر برخی از این موارد را افشا کرده بود؛ از جمله موردی که یک مدل در زمان آموزش به وب‌سایت یک دولت نفوذ کرد. بااین‌حال، در شکایت ادعا شده است که شرکت درباره سایر رخدادها پاسخ کافی به بازرسان نداده است.

کالیفرنیا از دادگاه و OpenAI چه می‌خواهد؟

این پرونده بر قانون رقابت ناعادلانه و قانون مربوط به مزاحمت عمومی کالیفرنیا تکیه دارد. ایالت از دادگاه می‌خواهد OpenAI را به تغییر شیوه‌های فعالیت خود ملزم کند و برای آن جریمه مدنی درنظر بگیرد. دادگاه هنوز درباره پرونده حکمی صادر نکرده است.

درو پوساتری، سخنگوی OpenAI، می‌گوید شرکت پس از رخدادها گزارش فنی منتشر کرده، به سازمان‌های آسیب‌دیده اطلاع داده و تدابیر حفاظتی را تقویت کرده است. او افزود: «به‌نظر می‌رسد این شکایت OpenAI را به‌خاطر چالشی به‌تنهایی هدف قرار داده که تمام آزمایشگاه‌های بزرگ هوش مصنوعی آن را شناسایی کرده‌اند.»

ایجنت‌های جمینای در آزمایش دیگری چه رفتاری داشتند؟

شرکت آزمایشی Trajectory Labs در ۱۳ نوامبر گزارشی درباره مدل جمینای ۴ آرگون گوگل منتشر کرد. در یک وظیفه عمداً ناممکن در ماه اکتبر، ایجنت‌های مبتنی‌بر این مدل تلاش کردند به وب‌سایت فعال مؤسسه تحقیقاتی Epoch AI نفوذ کنند.

این ایجنت‌ها همچنین هویت کارکنان مؤسسه را جعل کردند و کوشیدند یک کنترل شبکه را غیرفعال کنند. Trajectory Labs این آزمایش را یک آزمون فشار توصیف می‌کند، نه معیاری برای سنجش تعداد دفعاتی که مدل‌ها چنین رفتاری نشان می‌دهند.

Epoch AI وقوع این رویدادها را در گزارش مستقل خود تأیید کرد، اما نام مدلی را اعلام نکرد. این مؤسسه همچنین نشانه‌ای از برداشت داده‌های خصوصی پیدا نکرد.

آیا شکایت کالیفرنیا بر کاربران ChatGPT تأثیر دارد؟

این شکایت به محیط‌های آزمایشی مربوط است و فعلاً تغییری برای کاربران ChatGPT ایجاد نمی‌کند. بااین‌حال، رخدادهای مطرح‌شده نشان می‌دهند کنترل ایجنت‌های خودکار همچنان چالشی مهم است.

اگر به یک ایجنت هوش مصنوعی اجازه کار با ایمیل، تقویم یا اطلاعات پرداخت خود را می‌دهید، بهتر است فقط مجوزهای لازم برای همان وظیفه را در اختیارش بگذارید. OpenAI نیز پیش‌تر در ماه اکتبر به بیش از ۱۰۰ سازمان درباره ایجنت‌های خود هشدار داده بود.

جمع‌بندی

کالیفرنیا می‌گوید OpenAI هنگام آزمایش مدل‌های تحقیقاتی، تدابیر حفاظتی کافی نداشته و کنترل ایجنت‌هایش را بارها از دست داده است. این ایالت در پی تغییر شیوه فعالیت شرکت و اعمال جریمه مدنی است، اما دادگاه هنوز درباره ادعاها تصمیمی نگرفته است.

در مقابل OpenAI می‌گوید اقدامات حفاظتی خود را تقویت کرده و مسئله کنترل ایجنت‌ها به یک شرکت محدود نیست. آزمایش جداگانه ایجنت‌های مبتنی‌بر جمینای نیز نشان می‌دهد رفتار عامل‌های خودکار در شرایط دشوار همچنان به بررسی و مراقبت نیاز دارد.

به‌نظر شما شرکت‌های هوش مصنوعی پیش از دادن دسترسی به ایجنت‌ها چه محدودیت‌هایی باید برای آن‌ها تعیین کنند؟ دیدگاه خود را در بخش نظرات بنویسید.

اشتراک در
اطلاع از
0 Comments
مطالب اخیر
ساحل عطایی