هشدار کارمند سابق OpenAI: مدل‌های هوش مصنوعی ممکن است در دنیای واقعی متفاوت از محیط آزمایش رفتار کنند

یک کارمند سابق OpenAI که مسئولیت ایمنی مدل‌های این شرکت را بر عهده داشت، پس از جدایی در مقاله‌ای درباره سرعت توسعه هوش مصنوعی و ضعف سازوکارهای ایمنی هشدار داده و خواستار احتیاط و برنامه‌ریزی بیشتر شده است.

یک کارمند سابق OpenAI که در حوزه ایمنی مدل‌های این شرکت فعالیت می‌کرد، پس از ترک این شرکت درباره مسیر فعلی توسعه هوش مصنوعی هشدار داده است. دیوید رابینسون (David Robinson) که پیش‌تر مسئولیت نگارش گزارش‌های ایمنی منتشرشده هم‌زمان با عرضه مدل‌های OpenAI را بر عهده داشت، در مقاله‌ای برای نشریه The Atlantic از آنچه فرهنگ سازمانی «شکسته» توصیف کرده، انتقاد کرده است.

هشدار کارمند سابق OpenAI درباره سرعت توسعه هوش مصنوعی

رابینسون در بخش‌های مختلف مقاله خود درباره خطرات مرتبط با مسیر فعلی توسعه هوش مصنوعی هشدار داده است. او معتقد است شرکت‌های فعال در این حوزه با حرکت سریع از یک عرضه به عرضه بعدی، سطح مراقبتی را که برای توسعه ایمن مدل‌های پیشرفته هوش مصنوعی ضروری می‌داند، تأمین نمی‌کنند.

این کارمند سابق OpenAI به‌جای حرکت شتاب‌زده به سمت مدل‌های پیشرفته‌تر هوش مصنوعی مرزی (Frontier AI)، پیشنهاد کرده است شرکت‌های هوش مصنوعی از الگوهایی مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های پرتردد الهام بگیرند.

به گفته رابینسون، چنین زیرساخت‌هایی به دلیل اهمیت بالای ایمنی، از لایه‌های متعدد افزونگی و محافظت و همچنین برنامه‌ریزی دقیق و زمان‌بر استفاده می‌کنند تا خطاهای انسانی اجتناب‌ناپذیر به یک حادثه بزرگ منجر نشوند.

مقایسه خطرات هوش مصنوعی با حادثه هسته‌ای

رابینسون حوادث مرتبط با عدم هم‌راستایی هوش مصنوعی (AI Misalignment) را با احتمال وقوع یک حادثه هسته‌ای مقایسه کرده است. از دیدگاه او، OpenAI و رقبایش هنوز به اندازه نیروگاه‌های هسته‌ای از لایه‌های متعدد حفاظتی و سازوکارهای نظارتی استفاده نمی‌کنند.

او همچنین استدلال کرده است که یک حادثه بزرگ ناشی از از دست رفتن کنترل بر یک سیستم هوش مصنوعی می‌تواند پیامدهایی بسیار گسترده‌تر از یک حادثه منفرد در یک نیروگاه هسته‌ای داشته باشد.

در همین زمینه، داریو آمودی (Dario Amodei)، مدیرعامل شرکت Anthropic، نیز اخیراً درباره روند توسعه هوش مصنوعی ابراز نگرانی کرده و طرحی سه‌مرحله‌ای برای کاهش سرعت این روند مطرح کرده است.

نگرانی درباره رفتار متفاوت مدل‌ها پس از ورود به دنیای واقعی

به گفته رابینسون، مسئله تنها به وجود سازوکارهای ایمنی و بررسی‌های بیشتر محدود نمی‌شود. او موضوع هم‌راستایی هوش مصنوعی را مسئله‌ای با اهمیت بسیار بالا می‌داند.

رابینسون سناریویی را مطرح کرده است که در آن مدل‌های جدید هوش مصنوعی متوجه می‌شوند در حال آزمایش شدن از نظر هم‌راستایی هستند. در چنین شرایطی، مدل ممکن است برای کسب امتیاز مطلوب در محیط آزمایش رفتار مناسبی نشان دهد، اما پس از ورود به محیط واقعی رفتار متفاوتی داشته باشد.

نگرانی‌های این کارمند سابق OpenAI به مجموعه‌ای از حوادث اخیر نیز مربوط می‌شود؛ حوادثی که در آن‌ها برخی عامل‌های هوش مصنوعی (AI Agents) از محیط‌های آزمایشی خود خارج شده و وارد سازمان‌های دیگر شده‌اند؛ آن هم فراتر از محدوده کاری که برایشان تعیین شده بود.

نظر شما چیست؟

دیوید رابینسون، کارمند سابق OpenAI، معتقد است توسعه مدل‌های پیشرفته هوش مصنوعی به سازوکارهای ایمنی چندلایه، بررسی‌های دقیق‌تر و برنامه‌ریزی محتاطانه‌تری نیاز دارد. نگرانی اصلی او این است که سرعت بالای عرضه مدل‌های جدید ممکن است فرصت کافی برای ایجاد و آزمایش این سازوکارها باقی نگذارد.

🔴 همچنین بخوانید: با قابلیت جدید ChatGPT لباس‌ها را روی تن خود پرو کنید

نظر شما درباره افزایش سرعت توسعه مدل‌های هوش مصنوعی و ضرورت سخت‌گیری بیشتر در آزمایش‌های ایمنی چیست؟