جمنای ۴ کربن در GDPx دوم شد؛ ۹۱ درصد امتیاز کلاد با یک سوم هزینه
جمنای ۴ کربن گوگل در نخستین نسخه معیار GDPx با امتیاز ۱۰.۹ درصد در جایگاه دوم قرار گرفت و تنها از کلاد اوپوس ۵.۵ با امتیاز ۱۲ درصد عقب ماند. تفاوت مهم در هزینه اجرای آزمون دیده میشود: هزینه متوسط هر وظیفه برای مدل گوگل ۱۶.۲۹ دلار و برای مدل آنتروپیک ۵۱.۴۱ دلار ثبت شده است.
این ارقام به معنای آن است که جمنای ۴ کربن حدود ۹۱ درصد امتیاز مدل صدرنشین را با نزدیک به ۳۲ درصد هزینه آن به دست آورده است. نتیجه تازه نشان میدهد رقابت مدلهای هوش مصنوعی دیگر فقط بر سر کسب بالاترین امتیاز نیست و هزینه انجام وظایف طولانی نیز به یکی از معیارهای اصلی انتخاب مدل تبدیل شده است.
GDPx توان انجام کارهای تخصصی را میسنجد
معیار GDPx که توسط SemiAnalysis و ۱۴ شریک تخصصی ساخته شده، شامل ۲۰۶ وظیفه در ۱۱ حوزه است. امنیت سایبری، مهندسی نرم افزار، زیست شناسی، امور مالی، حقوق، طراحی تراشه، معاملات کمی، سخت افزار و علم مواد از جمله حوزههای این ارزیابی هستند.
هر مدل در محیطی نزدیک به کار واقعی آزمایش میشود. برای نمونه، بعضی وظایف مالی شامل هزاران فایل ناشناس شدهاند و آزمونهای امنیت سایبری نیز در محیطهای زنده و چندسرویسی اجرا میشوند. مدلها برای انجام هر وظیفه معمولا تا هشت ساعت فرصت دارند و امتیاز نهایی از میانگین سه بار اجرا به دست میآید.
جدول رسمی GDPx نشان میدهد GPT-6 Astra با امتیاز ۹.۶ درصد و هزینه ۵۳.۹۹ دلار برای هر وظیفه در رتبه سوم قرار گرفته است. مدل GPT 6.1 Sol نیز با امتیاز ۸.۴ درصد و هزینه ۹.۸۰ دلار، گزینه ارزانتری در بخش میانی جدول محسوب میشود.
پایین بودن امتیازها نشانه ساده بودن رقابت نیست. حتی بهترین مدل تنها ۱۲ درصد امتیاز کامل را کسب کرده و تقریبا همه مدلها در وظایف مالی و حقوقی نمره صفر گرفتهاند. بنابراین نتیجه GDPx را نباید معادل دقت ۱۰.۹ درصدی جمنای در مکالمه، تولید متن یا استفاده روزمره دانست.
هزینه کمتر جایگاه جمنای را تغییر داد
جمنای ۴ کربن نتوانست صدر جدول را از کلاد اوپوس ۵.۵ بگیرد، اما فاصله ۱.۱ واحد درصدی در برابر اختلاف بیش از سه برابری هزینه، موقعیت متفاوتی برای مدل گوگل ایجاد کرده است. این نسبت برای شرکتهایی مهم است که عاملهای هوش مصنوعی را روی تعداد زیادی وظیفه طولانی اجرا میکنند؛ زیرا اختلاف کوچک هزینه در هر درخواست، در مقیاس سازمانی به رقم بزرگی تبدیل میشود.
با این حال، رقم ۱۶.۲۹ دلار هزینه متوسط اجرای هر وظیفه در شرایط همین آزمون است. تعداد توکنهای تولیدشده، ابزارهای در دسترس، محیط اجرای عامل و مدت فعالیت مدل بر این عدد اثر میگذارند و نباید آن را قیمت ثابت هر کار در استفاده واقعی تلقی کرد.
گوگل پیشتر اعلام کرده بود جمنای ۴ کربن با قیمت مقدماتی ۲ دلار برای هر یک میلیون توکن ورودی و ۱۰ دلار برای هر یک میلیون توکن خروجی عرضه خواهد شد. قیمت عادی پس از پایان دوره مقدماتی بهترتیب ۴ و ۲۰ دلار تعیین شده است. با وجود این، اطلاعیه رسمی گوگل میگوید دسترسی فعلی به گروه محدودی از متخصصان دفاع سایبری و شرکای مورد اعتماد اختصاص دارد و عرضه عمومی برای توسعه دهندگان، کسب و کارها و کاربران هنوز آغاز نشده است.
نتیجه GDPx یک مزیت مهم برای جمنای ۴ کربن نشان میدهد: مدل گوگل در وظایف تخصصی به رهبر جدول نزدیک شده، بدون آنکه هزینه مشابهی تحمیل کند. تعیین ارزش واقعی این مزیت به عرضه عمومی، ثبات عملکرد خارج از محیط آزمون و قیمت نهایی دسترسی بستگی خواهد داشت.





