افزایش سرعت حافظه و استفاده از موتورهای عصبی دوگانه در دستگاههای جدید اپل، توان آنها برای اجرای محلی مدلهای هوش مصنوعی بزرگتر و متراکمتر را افزایش داده است. اطلاعات منتشرشده از سوی اپل نشان میدهد آیفون و آیپد میتوانند مدلهای ۱۴ میلیارد پارامتری را اجرا کنند، درحالیکه توان مکها از مدلهای ۷۰ میلیارد پارامتری آغاز میشود و در یک کلاستر Mac Studio به بیش از ۱.۶ تریلیون پارامتر میرسد.
🔹 آیفون و آیپد با ۱۶ گیگابایت حافظه یکپارچه برای اجرای محلی مدلهای هوش مصنوعی با ۱۴ میلیارد پارامتر فعال مناسب اعلام شدهاند.
🔹 مکبوک ایر و مک مینی با حداکثر ۶۴ گیگابایت حافظه یکپارچه میتوانند مدلهای ۷۰ میلیارد پارامتری را اجرا کنند.
🔹 مدلهای ردهبالای مکبوک پرو با ۱۲۸ گیگابایت حافظه یکپارچه برای مدلهای هوش مصنوعی ۱۲۰ میلیارد پارامتری مناسب هستند.
🔹 مک استودیو مجهز به M5 Ultra با حداکثر ۵۱۲ گیگابایت حافظه یکپارچه میتواند مدلهایی تا حدود ۴۸۰ میلیارد پارامتر را در خود جای دهد.
🔹 کلاستر چهار دستگاه Mac Studio با ۲ ترابایت حافظه یکپارچه قادر به اجرای مدلهای بیش از ۱.۶ تریلیون پارامتری عنوان شده است.
اپل در نموداری مجموعهای از دستگاههای خود را براساس میزان حافظه، پهنای باند حافظه و اندازه مدلهای زبانی بزرگی که امکان اجرای محلی آنها وجود دارد، دستهبندی کرده است.
برای کوچکترین مدل موجود در این نمودار، یعنی مدلی با ۱۴ میلیارد پارامتر فعال، استفاده از آیفون یا آیپد مجهز به ۱۶ گیگابایت حافظه یکپارچه توصیه شده است.
اپل برای استنتاج محلی هوش مصنوعی در این سطح به پهنای باند حافظه ۷۶ گیگابایتبرثانیه اشاره کرده است. در همین حال، تراشه A20 Pro با پهنای باند حافظه ۱۱۵.۲ گیگابایتبرثانیه از این مقدار فراتر میرود.
دستگاههای مکبوک ایر و مک مینی میتوانند به حداکثر ۶۴ گیگابایت حافظه یکپارچه مجهز شوند و پهنای باند حافظه آنها نیز تا ۳۰۷ گیگابایتبرثانیه عنوان شده است.
طبق اطلاعات اپل، این دستگاهها قادر به اجرای مدلهای زبانی بزرگ با حداکثر ۷۰ میلیارد پارامتر فعال هستند.
اجرای مدلهای هوش مصنوعی روی دستگاه اپل
مدلهای ردهبالای مکبوک پرو با حداکثر ۱۲۸ گیگابایت حافظه یکپارچه یک سطح بالاتر قرار میگیرند و طبق اطلاعات ارائهشده میتوانند مدلهای هوش مصنوعی با ۱۲۰ میلیارد پارامتر را اجرا کنند.
این سطح از توان اجرای مدلهای هوش مصنوعی با لپتاپهای RTX Spark مجهز به همین میزان حافظه مقایسه میشود.
توانایی اجرای محلی مدلهای بسیار بزرگتر در مک استودیو افزایش قابلتوجهی پیدا میکند. تراشه M5 Ultra پهنای باند حافظهای تا ۱.۲ ترابایتبرثانیه ارائه میدهد و Mac Studio مجهز به این تراشه میتواند حداکثر ۵۱۲ گیگابایت حافظه یکپارچه داشته باشد.
این میزان حافظه طبق اطلاعات ارائهشده برای نگهداری و اجرای مدلهایی با حدود ۴۸۰ میلیارد پارامتر کافی است. چنین ظرفیتی اجرای محلی مدلهای هوش مصنوعی بسیار بزرگ را بدون وابستگی به اشتراک سرویسهای ابری امکانپذیر میکند.
با اتصال چهار مک استودیو و ایجاد یک کلاستر با مجموع ۲ ترابایت حافظه یکپارچه، امکان اجرای مدلهایی با بیش از ۱.۶ تریلیون پارامتر مطرح شده است.
البته تهیه مک استودیو در حال حاضر آسان نیست. طبق بررسی انجامشده از فروشگاه آنلاین اپل در زمان انتشار گزارش، این شرکت تنها نسخه مجهز به ۲۵۶ گیگابایت حافظه را عرضه میکرد و بسته به شهر محل سکونت در ایالات متحده، زمان تحویل میتوانست به ۱۵ تا ۱۷ هفته برسد.
نسخه مک استودیو مجهز به M5 Ultra با پردازنده مرکزی ۳۶ هستهای، پردازنده گرافیکی ۸۰ هستهای، موتور عصبی ۳۲ هستهای و حافظه ذخیرهسازی یک ترابایتی در پیکربندی اشارهشده ۱۰٬۷۰۰ دلار قیمت دارد.
استفاده از چهار دستگاه برای ساخت یک کلاستر، هزینه را به ۴۳٬۱۹۶ دلار میرساند؛ هرچند این پیکربندی مورد اشاره حتی یک ترابایت حافظه یکپارچه در اختیار کاربر قرار نمیدهد.
طبق محاسبات مطرحشده، برای اجرای مدلهای زبانی بزرگ یک تریلیون پارامتری با این پیکربندی به کلاستری متشکل از هشت دستگاه نیاز خواهد بود که هزینه آن به ۸۶٬۳۹۲ دلار میرسد. چنین هزینهای ارزش اقتصادی اجرای محلی مدلهای بسیار بزرگ با وزنهای باز را به یکی از ملاحظات اصلی تبدیل میکند.
نمودار اپل راهنمایی کلی درباره رابطه میان سختافزار دستگاهها و اندازه مدلهای قابل اجرا ارائه میکند، اما نمونه مشخصی از مدلهای زبانی بزرگ سازگار با هر دستگاه در آن وجود ندارد.
همچنین مشخص نشده است که هر دستگاه دقیقا تا چه سطحی از نسخههای کوانتیزهشده مدلهای مختلف را پشتیبانی میکند. بنابراین اعداد ارائهشده بیشتر تصویری کلی از ظرفیت سختافزاری دستگاههای اپل برای استنتاج محلی هوش مصنوعی ارائه میدهند.
اطلاعات اپل نشان میدهد دامنه اجرای محلی مدلهای هوش مصنوعی در محصولات این شرکت از مدلهای ۱۴ میلیارد پارامتری روی آیفون و آیپد تا مدلهای صدها میلیارد پارامتری روی مک استودیو گسترش پیدا میکند. با ایجاد کلاسترهای چنددستگاهی نیز امکان عبور از مرز یک تریلیون پارامتر وجود دارد، هرچند هزینه سختافزار مورد نیاز برای چنین پیکربندیهایی بسیار بالا خواهد بود.
به نظر شما اجرای کاملا محلی مدلهای بزرگ هوش مصنوعی تا چه اندازه میتواند هزینه بالای خرید چند مک استودیو را برای کاربران حرفهای توجیه کند؟
