حساب کاربری ندارید؟ ثبت نام کنید

شرکت OpenAI توسعه مدل هوش مصنوعی Astra را به‌دلیل نگرانی‌های امنیتی محدود کرد

نوشته

3 ساعت قبل | بدون دیدگاه | هوش مصنوعی

مدل هوش مصنوعی Astra، مدل قدرتمند بعدی شرکت OpenAI، در ارزیابی‌های داخلی این شرکت توانایی‌های قابل‌توجهی در برنامه‌نویسی عامل‌محور و امنیت سایبری نشان داده است. OpenAI می‌گوید فعلاً نمی‌تواند وجود «قابلیت‌های سایبری بحرانی» در Astra را رد کند و به‌همین‌دلیل، بخشی از فعالیت‌های مرتبط با این مدل را تا زمان اجرای تدابیر امنیتی جدید محدود می‌کند.

خلاصه خبر در یک نگاه:

🔷 مدل هوش مصنوعی Astra در ارزیابی‌های داخلی OpenAI پیشرفت قابل‌توجهی در برنامه‌نویسی عامل‌محور و امنیت سایبری نشان داده است.
🔷 شرکت OpenAI می‌گوید فعلاً نمی‌تواند برخورداری Astra از قابلیت‌های سایبری در سطح «بحرانی» را رد کند.
🔷 این شرکت پیش از استقرار مدل، کنترل‌های امنیتی و محیط‌های آزمایشی ایزوله بیشتری به‌کار خواهد گرفت.
🔷 شرکت OpenAI قصد دارد Astra را با همکاری نهادهای دولتی و سازمان‌های فعال در حوزه ایمنی هوش مصنوعی آزمایش کند.

چرا OpenAI فعالیت روی مدل هوش مصنوعی Astra را محدود می‌کند؟

اوپن‌ای‌آی اعلام کرده است ارزیابی‌های داخلی جدید Astra از «پیشرفت‌های قابل‌توجه در برنامه‌نویسی عامل‌محور و امنیت سایبری» حکایت دارند. این شرکت درحال‌حاضر نمی‌تواند احتمال رسیدن توانایی‌های سایبری مدل به سطح Critical یا بحرانی را رد کند.

مدل‌های قبلی OpenAI ازجمله GPT-5.6 Sol در سطح «High» دسته‌بندی شده بودند. احتمال عبور Astra از این سطح باعث می‌شود مقررات سخت‌گیرانه‌تری از چارچوب آمادگی یا Preparedness Framework شرکت درباره آن اعمال شود.

سطح «بحرانی» در توانایی سایبری Astra به چه معناست؟

اوپن‌ای‌آی در چارچوب آمادگی خود برای قابلیت‌های پیشرفته‌ای که می‌توانند خطر آسیب‌های شدید ایجاد کنند، الزامات ویژه‌ای درنظر گرفته است. بخش امنیت سایبری این چارچوب نیز اجرای تدابیر بیشتر برای مدل‌هایی را الزامی می‌کند که خطر جدیدی برای اجرای حملات سایبری در مقیاس گسترده یا بهره‌برداری از آسیب‌پذیری‌ها ایجاد کنند.

شرکت OpenAI آستانه «بحرانی» را به توانایی‌هایی مانند شناسایی و توسعه اکسپلویت‌های کاربردی برای آسیب‌پذیری‌های روز صفر در طیف وسیعی از سیستم‌های حیاتی و مقاوم در دنیای واقعی، بدون دخالت انسان، مرتبط می‌داند. طراحی و اجرای مستقل راهبردهای جدید و سرتاسری برای حملات سایبری نیز می‌تواند در این سطح قرار بگیرد.

البته OpenAI نگفته است که Astra قطعاً چنین توانایی‌هایی دارد؛ شرکت می‌گوید براساس ارزیابی‌های فعلی، هنوز نمی‌تواند وجود آن‌ها را رد کند. این تفاوت برای ارزیابی میزان خطر مدل اهمیت دارد.

OpenAI عرضه مدل Astra را به‌دلیل خطر حملات سایبری به تعویق می‌اندازد.

OpenAI عرضه مدل Astra را به‌دلیل خطر حملات سایبری به تعویق می‌اندازد.

شرکت OpenAI چه تدابیر امنیتی برای Astra درنظر گرفته است؟

شرکت OpenAI پیش از استقرار مدل هوش مصنوعی Astra قصد دارد محافظت‌ها و کنترل‌های امنیتی خود را افزایش دهد. این شرکت بخشی از فعالیت روی مدل را تا زمان آماده‌شدن تدابیر حفاظتی جدید محدود خواهد کرد.

برنامه OpenAI استفاده از محیط‌های آزمایشی ایزوله با دسترسی محدود به شبکه و ابزارها را دربرمی‌گیرد. اجرای کد در محیط‌های سندباکس و افزایش قابلیت‌های نظارتی نیز بخشی از اقدامات امنیتی برنامه‌ریزی‌شده هستند.

همچنین OpenAI می‌گوید برای آزمایش Astra با نهادهای دولتی مرتبط و سازمان‌های ایمنی هوش مصنوعی همکاری خواهد کرد. هدف این اقدامات، ارزیابی قابلیت‌های مدل پیش از عرضه گسترده آن است.

مدل Astra چگونه معرفی شد؟

شرکت OpenAI هنوز Astra را به‌صورت رسمی معرفی نکرده بود، اما این شرکت در مطلبی درباره پیشرفت‌های خود در حوزه ریاضیات اطلاعاتی از مدل بزرگ بعدی خود منتشر کرد.

طبق اطلاعات ارائه‌شده، Astra توانسته است ۱۰ مسئله باز در ریاضیات و علوم نظری کامپیوتر را حل کند. OpenAI هزینه انجام این کار را براساس تعرفه API مدل Sol حدود ۲۰۰۰ دلار اعلام کرده است.

چرا توانایی هک مدل‌های هوش مصنوعی اهمیت پیدا کرده است؟

پیشرفت مدل‌های هوش مصنوعی در حوزه امنیت سایبری به شرکت‌های فناوری کمک می‌کند آسیب‌پذیری‌های نرم‌افزاری را سریع‌تر پیدا کنند. درعین‌حال، همان توانایی‌ها می‌توانند برای بهره‌برداری از آسیب‌پذیری‌ها نیز به‌کار گرفته شوند و همین موضوع نگرانی‌های امنیتی ایجاد می‌کند.

OpenAI پیش از عرضه Astra آزمایش‌ها و تدابیر امنیتی سخت‌گیرانه‌تری اجرا خواهد کرد.

OpenAI پیش از عرضه Astra آزمایش‌ها و تدابیر امنیتی سخت‌گیرانه‌تری اجرا خواهد کرد.

براساس گزارش منبع، اپل با افزایش قابل‌توجه تعداد باگ‌های کشف‌شده مواجه شده و اخیراً ارسال گزارش به برنامه پاداش کشف باگ خود را محدود کرده است؛ زیرا مدیریت حجم گزارش‌ها برای این شرکت دشوار شده است.

مدل‌هایی مانند Claude Mythos نیز قادر به شناسایی آسیب‌پذیری‌های مهم هستند و اپل یکی از شرکای Anthropic برای Mythos محسوب می‌شود. دسترسی به این مدل محدود است؛ زیرا درکنار کشف آسیب‌پذیری‌ها، امکان بهره‌برداری از آن‌ها نیز وجود دارد.

🔴 همچنین بخوانید: افشای جزئیات جدید از جنجال بزرگ OpenAI؛ عامل‌های هوش مصنوعی دوباره از کنترل خارج شدند!

مدل‌های هوش مصنوعی قبلاً هم در آزمایش‌ها سیستم‌های واقعی را هک کرده‌اند

موضوع توانایی سایبری مدل‌های هوش مصنوعی پیش‌تر نیز جلب‌توجه کرده بود. طبق گزارش منبع، GPT-5.6 Sol و یک مدل توانمندتر پیش از عرضه OpenAI که Astra نبود، در جریان آزمایش داخلی بنچمارک امنیت سایبری توانستند به‌صورت خودکار Hugging Face را هک کنند.

آنتروپیک نیز رفتار مشابهی را در یکی از مدل‌های Claude مشاهده کرده است. متا هم اعلام کرده یکی از مدل‌های هوش مصنوعی این شرکت هنگام یک ارزیابی امنیت سایبری توانسته است یک شرکت دیگر را هک کند.

🔴 همچنین بخوانید: ایجنت‌های OpenAI پیش از حمله به Hugging Face ماه‌ها به‌طور مخفیانه با یکدیگر همکاری می‌کردند

 جمع‌بندی

ارزیابی‌های امنیتی Astra نشان می‌دهند افزایش توانایی مدل‌های هوش مصنوعی در برنامه‌نویسی و امنیت سایبری می‌تواند هم کاربردهای دفاعی مهمی داشته باشد و هم تدابیر حفاظتی سخت‌گیرانه‌تری را ضروری کند. OpenAI فعلاً قصد دارد پیش از استقرار مدل، لایه‌های امنیتی بیشتری ایجاد و توانایی‌های آن را با کمک نهادهای تخصصی ارزیابی کند.

به‌نظر شما شرکت‌های هوش مصنوعی برای مدل‌هایی با توانایی پیشرفته در کشف و بهره‌برداری از آسیب‌پذیری‌های امنیتی باید چه محدودیت‌هایی درنظر بگیرند؟ دیدگاه خود را در بخش نظرات بنویسید.

اشتراک در
اطلاع از
0 Comments
بازخورد (Feedback) های اینلاین
مشاهده همه دیدگاه ها
رپورتاژ آگهی پربازده
رپورتاژ آگهی پربازده
ساحل عطایی