جمینای ۴ کربن گوگل با عبور از GPT-6.1 Sol شرکت OpenAI به رتبه نخست بنچمارک ریاضی MathArena رسیده است. مدل Claude Fable 5.2 از آنتروپیک نیز رتبه دوم را کسب کرده و GPT-6.1 Sol در جایگاه سوم قرار گرفته است. بااین‌حال، عملکرد بهتر جمینای هزینه بیشتری دارد: هزینه موردانتظار آن با تنظیمات استدلال این آزمون حدود ۱۵ برابر مدل OpenAI بود.
🔷 جمینای ۴ کربن با عملکرد موردانتظار ۸۵٫۴ درصد در صدر MathArena قرار گرفت.
🔷 کلود Fable 5.2 و GPT-6.1 Sol به‌ترتیب رتبه‌های دوم و سوم را کسب کردند.
🔷 هزینه موردانتظار جمینای با تنظیمات آزمون حدود ۱۵ برابر مدل OpenAI بود.
🔷 رایج‌ترین دلیل ناکامی جمینای در حل مسائل، عبور از محدودیت زمانی بود.
🔷 مدل Kimi K3.1 Pro عنوان بهترین مدل باز را در این ارزیابی به‌دست آورد.
جمینای ۴ کربن نخستین مدل غیرمتعلق به OpenAI در مدت اخیر است که به صدر این بنچمارک ریاضی می‌رسد. نتیجه آن نشان می‌دهد این مدل می‌تواند یکی از توانمندترین مدل‌های دردسترس عموم برای مسائل ریاضی باشد.
مدل‌های دیگری از OpenAI نیز اخیراً بنا بر ادعاهایی معادلات دشواری مانند معادلات ناویر–استوکس را حل کرده‌اند، اما این مدل‌ها هنوز در دسترس عموم قرار ندارند.
| جایگاه | مدل و تنظیمات | شرکت | عملکرد موردانتظار | هزینه موردانتظار |
|---|---|---|---|---|
| اول | Gemini 4 Carbon (high) | گوگل | ۸۵٫۴٪ ± ۳٫۰٪ | ۱۵٫۷۰ ± ۱٫۳۳ دلار |
| دوم | Claude Fable 5.2 (max) | آنتروپیک | ۸۲٫۸٪ ± ۵٫۳٪ | ۴۰٫۲۰ ± ۲٫۵۹ دلار |
| سوم | GPT-6.1 Sol (max) | OpenAI | ۸۰٫۶٪ ± ۲٫۷٪ | ۱٫۰۷ ± ۰٫۰۱۸ دلار |
| بهترین مدل باز | Kimi K3.1 Pro (max) | مون‌شات AI | ۵۴٫۳٪ ± ۵٫۸٪ | ۳٫۷۰ ± ۰٫۲۷ دلار |
با تنظیمات استدلال استفاده‌شده در آزمون، هزینه موردانتظار جمینای ۴ کربن حدود ۱۵ برابر GPT-6.1 Sol بود. این اختلاف برای کلود Fable 5.2 به حدود ۴۰ برابر می‌رسید. ارقام جدول به همان تنظیمات آزمون مربوط‌اند و نباید آن‌ها را بدون درنظرگرفتن شرایط ارزیابی به همه کاربردها تعمیم داد.
رایج‌ترین دلیل ناکامی جمینای ۴ کربن در این ارزیابی، عبور از محدودیت زمانی بود. این مدل تقریباً هیچ‌وقت از حل مسئله صرف‌نظر نمی‌کند؛ رفتاری که بسته به شرایط می‌تواند مزیت یا نقطه‌ضعف باشد.
در یکی از موارد، مدل اسکریپتی را اجرا کرد که بیش از ۱۱ ساعت بدون بررسی پیشرفت آن به کار ادامه داد.
جمینای ۴ کربن با کسب بالاترین امتیاز موردانتظار در MathArena از رقبای آنتروپیک و OpenAI پیشی گرفته است. بااین‌حال، هزینه بیشتر و احتمال عبور از محدودیت زمانی نشان می‌دهند که جایگاه نخست لزوماً برای هر کاربردی به‌معنای بهترین انتخاب نیست.
به‌نظر شما برای حل مسائل ریاضی با هوش مصنوعی، عملکرد بهتر ارزش پرداخت هزینه چندبرابری را دارد؟ دیدگاه خود را در بخش نظرات بنویسید.
