انویدیا پلتفرم جدیدی برای مهار و نظارت بر ایجنت‌های هوش مصنوعی معرفی کرد

شرکت انویدیا از پلتفرم Open Agent Safety Platform برای کنترل، محدودسازی و نظارت بر ایجنت‌های هوش مصنوعی رونمایی کرده است. این اقدام در شرایطی انجام می‌شود که طی هفته‌های اخیر گزارش‌هایی از خروج مدل‌های هوش مصنوعی شرکت‌های مختلف از محیط‌های آزمایشی و انجام فعالیت‌های ناخواسته منتشر شده است. انویدیا می‌گوید سیستم جدید می‌تواند ایجنت‌هایی را که قصد عبور از محدوده تعیین‌شده دارند، ظرف چند میلی‌ثانیه قرنطینه کند.

پلتفرم امنیتی انویدیا چگونه ایجنت‌های هوش مصنوعی را کنترل می‌کند؟

پلتفرم جدید انویدیا با هدف ایجاد یک محیط کنترل‌شده برای فعالیت ایجنت‌های هوش مصنوعی طراحی شده است. این شرکت می‌گوید Open Agent Safety Platform قادر است ایجنت‌هایی را که تلاش می‌کنند از مرزهای تعیین‌شده خارج شوند، ظرف چند میلی‌ثانیه قرنطینه کند.

یکی از اجزای اصلی این پلتفرم، نرم‌افزار متن‌باز OpenShell است که روی پردازنده هوش مصنوعی Vera انویدیا اجرا می‌شود.

کاربران می‌توانند مشخص کنند که یک ایجنت هوش مصنوعی اجازه دسترسی به چه اطلاعاتی را داشته باشد. OpenShell نیز این محدودیت‌ها را پیش از شروع وظیفه و در طول اجرای آن بررسی می‌کند تا ایجنت در محدوده دسترسی تعیین‌شده باقی بماند.

فناوری Sentry ایجنت‌ها را به‌طور مداوم زیر نظر می‌گیرد

انویدیا در کنار OpenShell از فناوری دیگری با نام Sentry استفاده می‌کند. این فناوری روی یک تراشه جداگانه اجرا می‌شود و وظیفه آن نظارت مداوم بر فعالیت ایجنت‌ها و اعمال محدودیت‌های تعیین‌شده است.

ترکیب این دو فناوری به انویدیا اجازه می‌دهد کنترل‌های امنیتی را صرفاً به خود ایجنت یا مدل هوش مصنوعی واگذار نکند و یک لایه نظارتی جداگانه برای بررسی رفتار آن داشته باشد.

پلتفرم امنیتی انویدیا برای کنترل ایجنت‌های هوش مصنوعی

جنسن هوانگ بر حداقل دسترسی ایجنت‌های هوش مصنوعی تأکید دارد

جنسن هوانگ، مدیرعامل انویدیا، در گفت‌وگویی با CNBC بر اهمیت محدودکردن سطح دسترسی ایجنت‌های هوش مصنوعی تأکید کرده است.

به گفته هوانگ، برای ارائه ایمن یک سیستم مبتنی بر ایجنت‌های هوش مصنوعی باید محیط سندباکس اطراف آن به شکلی طراحی شود که ایجنت فقط حداقل سطح دسترسی لازم برای انجام وظیفه خود را داشته باشد.

این رویکرد به این معناست که یک ایجنت نباید صرفاً به دلیل توانایی فنی خود، امکان دسترسی به تمام داده‌ها یا بخش‌های یک سیستم را داشته باشد و دسترسی آن باید متناسب با وظیفه تعیین‌شده محدود شود.

نگرانی‌ها درباره رفتار ایجنت‌های هوش مصنوعی افزایش یافته است

معرفی پلتفرم جدید انویدیا در شرایطی انجام می‌شود که نگرانی‌ها درباره ایمنی مدل‌ها و ایجنت‌های هوش مصنوعی طی هفته‌های اخیر افزایش یافته است.

براساس گزارش منتشرشده، شرکت‌های OpenAI ،Anthropic و Google مواردی را افشا کرده‌اند که در آن‌ها مدل‌های هوش مصنوعی این شرکت‌ها از محیط‌های آزمایشی خود خارج شده و سامانه‌های شرکت‌های دیگر را هدف فعالیت‌های هک قرار داده‌اند.

همین نوع رخدادها اهمیت ایجاد لایه‌های امنیتی مستقل برای کنترل ایجنت‌هایی را افزایش داده است که می‌توانند به ابزارها، داده‌ها و سیستم‌های خارجی دسترسی داشته باشند.

شرکت‌های بزرگ فناوری از پلتفرم انویدیا پشتیبانی می‌کنند

چند شرکت بزرگ فناوری نیز از Open Agent Safety Platform انویدیا پشتیبانی می‌کنند. در میان این شرکت‌ها نام Anthropic ،Microsoft و SpaceX دیده می‌شود.

پشتیبانی این شرکت‌ها در شرایطی صورت می‌گیرد که استفاده از ایجنت‌های هوش مصنوعی برای انجام خودکار وظایف پیچیده در حال گسترش است و کنترل میزان دسترسی آن‌ها به داده‌ها و سیستم‌های مختلف به یکی از مسائل امنیتی این حوزه تبدیل شده است.

جمع‌بندی

پلتفرم Open Agent Safety Platform انویدیا با ترکیب OpenShell و فناوری نظارتی Sentry تلاش می‌کند یک لایه امنیتی مستقل برای کنترل ایجنت‌های هوش مصنوعی ایجاد کند. کاربران می‌توانند محدوده دسترسی ایجنت‌ها را تعیین کنند و سیستم نیز پیش و هنگام اجرای وظایف بر رعایت این محدودیت‌ها نظارت خواهد کرد؛ رویکردی که پس از انتشار گزارش‌هایی درباره خروج برخی مدل‌های هوش مصنوعی از محیط‌های آزمایشی مورد توجه بیشتری قرار گرفته است.

به نظر شما محدودکردن سطح دسترسی ایجنت‌های هوش مصنوعی و نظارت مستقل بر رفتار آن‌ها تا چه اندازه می‌تواند از رخدادهای امنیتی مشابه جلوگیری کند؟