خیره‌کننده: پلتفرم هوش مصنوعی Groq با قابلیت پردازش 800 توکن در هر ثانیه

دیروز، همزمان با معرفی هوش مصنوعی اختصاصی خود در اینستاگرام، واتس‌اپ و فیسبوک، مدل زبانی جدید و بزرگ به نام لاما 3 (Llama 3) را برای تأمین‌کنندگان خدمات ابری منتشر کرد. اکنون، برخی از کاربران شبکه‌های اجتماعی به عملکرد این مدل در پلتفرم هوش مصنوعی Groq اشاره کرده‌اند. گفته می‌شود که این مدل قدرت پردازش استثنایی با سرعت 800 توکن بر ثانیه را فراهم می‌کند.

به گفته مت شومر، بنیان‌گذار و مدیرعامل شرکت OthersideAI، پلتفرم هوش مصنوعی Groq با مدل لاما 3، سرعت استنتاج بیش از 800 توکن بر ثانیه را ارائه می‌دهد. اگرچه Groq هنوز این ادعا را تأیید نکرده است، اما این می‌تواند یک جهش قابل‌توجه در مقایسه با سایر سرویس‌های هوش مصنوعی ابری باشد.

گزارش‌ها نشان می‌دهد که این ادعا درست است. با پردازش 800 توکن در هر ثانیه، لاما 3 می‌تواند در هر دقیقه حدود 48 هزار توکن (معادل حدود 500 کلمه) تولید کند. این سرعت استنتاج از مدل‌های زبانی دیگری که روی پردازنده‌های گرافیکی معمولی در فضای ابری ارائه می‌شوند، سریع‌تر است.

شرکت Groq در حال توسعه معماری جدیدی برای پردازش‌های ضرب ماتریسی در عملیات‌های یادگیری عمیق است. این معماری به عنوان قلبی برای محاسبات یادگیری عمیق مطرح شده و Groq ادعا می‌کند که می‌تواند کارایی و عملکرد بهتری نسبت به دیگر پردازنده‌ها برای اجرای الگوریتم‌های هوش مصنوعی ارائه دهد. این ادعا به ویژه با ارائه نتایج پردازشی 800 توکن بر ثانیه برای مدل لاما 3، تأیید شده است.

معماری Groq از سایر طراحی‌های پردازنده‌های موجود اختلافات قابل توجهی دارد، به جای تطبیق پردازنده‌های همه‌منظوره، Groq پردازنده Tensor Streaming خود را به منظور شتاب‌بخشی به الگوهای محاسباتی خاص یادگیری عمیق توسعه داده است.

پس از عرضه مدل لاما 3، متا ادعا کرده بود که این مدل زبانی در عملکرد خود بهتر از بسیاری از رقباست. این مدل در دو نسخه با 8 میلیارد و 70 میلیارد پارامتر عرضه شده است و تنوع در پاسخ‌های ارائه‌شده توسط آن بیشتر از گذشته شده و خطاها یا عدم پاسخ‌گویی به سؤالات به‌ندرت رخ می‌دهد. همچنین نحوه درک دستورات و نوشتن کدها نیز بهبود یافته است.

مهم بود که ذکر شود که شرکت Groq هیچ ارتباطی با هوش مصنوعی Grok که متعلق به استارتاپ xAI ایلان ماسک است، ندارد.