بایچوان هوشمند استراتژی جدیدی را برای بهینه سازی کارایی ترانسفورماتور منتشر کرد

وانگ بینگینگ، رئیس پیش‌آموزش در Baichuan Intelligence، آخرین نتایج تحقیقاتی را در مورد بهینه‌سازی کارایی ترانسفورماتور در "کنفرانس جهانی فناوری یادگیری ماشین 2024" به اشتراک گذاشت. او پیشنهاد کرد که با اجرای دو استراتژی بهینه‌سازی GQA و MQA، مشکل تنگنای ورودی/خروجی ترانسفورماتور در مرحله رمزگشایی می‌تواند به طور موثر حل شود و در نتیجه کارایی استنتاج بهبود یابد.