حساب کاربری ندارید؟ ثبت نام کنید

اقدامات جدید OpenAI برای حفاظت از کودکان؛ معرفی ابزار رایگان تشخیص CSAM، هشدارهای بازدارنده در ChatGPT و ابزارهای پلیسی

نوشته

34 ثانیه قبل | بدون دیدگاه | هوش مصنوعی

شرکت OpenAI مجموعه جدیدی از اقدامات ایمنی را برای حفاظت از کودکان در فضای دیجیتال معرفی کرد که شامل یک ابزار رایگان تشخیص محتوای سوءاستفاده جنسی از کودکان (CSAM) با قابلیت شناسایی تصاویر تولیدشده توسط هوش مصنوعی، هشدارهای بازدارنده در چت‌بات ChatGPT، راهنمای عملی برای توسعه‌دهندگان و ابزارهای هوش مصنوعی و آموزش‌های تخصصی برای بازرسان نهادهای مجری قانون است.

خلاصه خبر در یک نگاه

🔷 شرکت OpenAI ابزار رایگان تشخیص CSAM را با قابلیت شناسایی محتوای تولیدشده توسط هوش مصنوعی از طریق API در دسترس سازمان‌های تاییدشده قرار داد.
🔷 این طبقه‌بند با کاهش ۴۸ درصدی پرچم‌گذاری‌های غیرضروری، دقت تشخیص محتوای آسیب‌زا را دو برابر کرده است.
🔷 در ChatGPT هشدارهای بازدارنده جدیدی اضافه شده که ضمن حذف گفت‌وگوی متخلف، دسترسی کاربر را به مدت ۲۴ ساعت مسدود می‌کند.
🔷 راهنمای جامعی با همکاری آنتروپیک، گوگل و نهادهای ایمنی کودک برای توسعه‌دهندگان منتشر شده است.
🔷 ابزارهای تحلیل داده و آموزش‌های تخصصی برای کمک به واحدهای پلیسی در بررسی پرونده‌های استثمار کودکان ارائه می‌شود.

ابزار رایگان تشخیص CSAM و نتایج ارزیابی‌های اولیه

شرکت OpenAI یک طبقه‌بند تصویر (Image Classifier) جدید معرفی کرده است که نشانه‌های بصری سوءاستفاده را بررسی کرده و به تصاویر امتیاز می‌دهد تا به بازرسان در اولویت‌بندی موارد احتمالی CSAM، از جمله محتوای تولیدشده توسط هوش مصنوعی، کمک کند. این سیستم همچنین توانایی شناسایی تصاویر جدیدی را دارد که پیش‌تر در پایگاه‌های داده ثبت نشده‌اند.

به گفته OpenAI، این نخستین طبقه‌بند گسترده CSAM است که یک سیگنال اختصاصی برای تشخیص تولید شدن محتوا توسط هوش مصنوعی ارائه می‌دهد. این مدل با همکاری مرکز ملی کودکان گمشده و استثمارشده (NCMEC) آموزش و ارزیابی شده و به‌صورت رایگان از طریق OpenAI API در اختیار سازمان‌های معتبر و تاییدشده در اندازه‌های مختلف قرار می‌گیرد. OpenAI همچنین برای گسترش دسترسی به این ابزار با ائتلاف فناوری و سازمان ROOST همکاری می‌کند و از سیستم تشخیص Safer متعلق به سازمان Thorn و برنامه Lantern برای تبادل سیگنال‌های مربوط به استثمار آنلاین کودکان پشتیبانی می‌نماید.

بر اساس ارزیابی‌های داخلی روی تصاویر بارگذاری‌شده توسط کاربران و گزارش شرکای دسترسی زودهنگام، این ابزار دستاوردهای چشمگیری داشته است:

  • کاهش خطا و افزایش دقت: کاهش تقریبی ۴۸ درصدی تعداد تصاویر ارسالی برای بازبینی انسانی ضمن حفظ شناسایی همان میزان محتوای مجرمانه، که به معنای دو برابر شدن احتمال وجود تخلف واقعی در تصاویر پرچم‌گذاری‌شده است.
  • عملکرد در شرکای تجاری: در آزمایش‌های پلتفرم fal، بازرسان انسانی ۷۲ درصد از هشدارهای با اطمینان بالا را به‌عنوان موارد جدید CSAM تایید کردند؛ در invideo AI از هر چهار مورد پرچم‌گذاری‌شده یک مورد به مسدودسازی حساب انجامید؛ و در SafetyKit نیز ۹۰ درصد از موارد شامل نقاشی‌ها یا انیمیشن‌های جنسی‌سازی‌شده کودکان شناسایی شد.
اقدامات جدید OpenAI برای حفاظت از کودکان

اقدامات جدید OpenAI برای حفاظت از کودکان

هشدارهای بازدارنده در ChatGPT و تعلیق ۲۴ ساعته دسترسی

در بخش مصرف‌کنندگان، OpenAI هشدارهای جدیدی را در ChatGPT معرفی کرده است تا تلاش‌ها برای یافتن محتوای آسیب‌زا را در لحظه متوقف کند، پیامدهای قانونی و اخلاقی را توضیح دهد و کاربران را به سمت منابع حمایتی هدایت نماید.

هنگامی که تلاشی برای جست‌وجوی محتوای مجرمانه شناسایی شود، ChatGPT هشداری نمایش می‌دهد که توضیح می‌دهد جنسی‌سازی کودکان (حتی در مواردی که محتوای درخواستی توسط هوش مصنوعی تولید شود) آسیب‌زا است. هم‌زمان، چت‌بات گفت‌وگوی پرچم‌گذاری‌شده را حذف کرده و دسترسی کاربر به ChatGPT را به مدت ۲۴ ساعت متوقف می‌کند، در حالی که دسترسی به خطوط پشتیبانی تخصصی همچنان باز می‌ماند. تکرار تخلفات نیز به محدودیت‌های طولانی‌تر، بستن کامل حساب کاربری یا گزارش موضوع به مقامات قضایی منجر خواهد شد. این رویکرد با مشورت سازمان‌های Protect Children، بنیاد لوسی فیث‌فول و پژوهشگران روان‌شناسی قانونی دانشگاه کنت و دانشگاه تاسمانی توسعه یافته است.

راهنمای توسعه‌دهندگان و ابزارهای هوش مصنوعی برای نهادهای مجری قانون

شرکت OpenAI راهنمای جامعی را نیز برای کمک به توسعه‌دهندگان جهت پیشگیری، تشخیص و پاسخ به موارد مشکوک CSAM منتشر کرده است. این راهنما که با همکاری Tech Coalition ،Thorn ،NCMEC و بنیاد دیده‌بان اینترنت (IWF) تدوین شده، مواردی مانند تعیین قوانین شفاف محتوایی، استفاده از شناسه‌های ایمنی برای ردیابی متخلفان و حمایت از تیم‌های بازبینی محتوا را پوشش می‌دهد. علاوه بر این، OpenAI با همکاری آنتروپیک و گوگل راهنمای مشترکی را برای نحوه واکنش به افشای موارد سوءاستفاده از کودکان در سیستم‌های هوش مصنوعی تدوین کرده است.

در نهایت، OpenAI از ارائه ابزارهای هوش مصنوعی و آموزش‌های تخصصی به واحدهای پلیسی ویژه حفاظت از کودکان خبر داد. این پشتیبانی شامل افزونه‌های اختصاصی و ابزارهای تحلیل داده‌های پیچیده است که به افسران کمک می‌کند گزارش‌های طولانی چت و اسناد قانونی را بررسی کنند، ارتباطات پنهان را بیابند و جدول زمانی وقایع را با لینک مستقیم به مدارک بسازند؛ فرآیندی که ضمن تسریع تحقیقات، مواجهه غیرضروری بازرسان با محتوای آسیب‌زا را کاهش می‌دهد.

جمع‌بندی

اقدامات چندلایه OpenAI نشان می‌دهد که مقابله با سوءاستفاده از کودکان در عصر هوش مصنوعی مولد نیازمند ترکیبی از فیلترهای فنی پیشرفته، مداخلات رفتاری آنی و همکاری میان شرکت‌های فناوری و نهادهای قانونی است. عرضه رایگان طبقه‌بند جدید تشخیص CSAM به همراه سیگنال شناسایی تصاویر تولیدشده با هوش مصنوعی، می‌تواند استاندارد ایمنی را در سراسر اکوسیستم پلتفرم‌های دیجیتال ارتقا دهد.

به نظر شما عرضه رایگان ابزارهای تشخیص محتوای غیرقانونی هوش مصنوعی برای سایر شرکت‌ها و استارتاپ‌ها تا چه اندازه می‌تواند به ایجاد فضای امن‌تر در اینترنت کمک کند؟

اشتراک در
اطلاع از
0 Comments
مطالب اخیر
امیرحسین ملکی