Qualcomm, 10 Eylül’de gelecek premium mobil platformunda kullanacağı yeni Hexagon NPU mimarisinin ayrıntılarını paylaştı. Şirket, transformer tabanlı modeller için Element Accelerator adlı özel birim ve önceki tasarıma göre yüzde 50 daha büyük ortak bellek alanı eklediğini söylüyor. Mimari, INT2’den FP16’ya uzanan farklı sayı biçimlerini destekleyerek hız, enerji ve doğruluk arasında seçim yapılmasını amaçlıyor.
Qualcomm’un ölçümüne göre INT4 biçimindeki modellerde ilk yanıtı hazırlayan “prefill” aşaması yüzde 50’ye kadar hızlanabiliyor. Şirket ayrıca uzman karışımı yaklaşımında 30 milyar parametreli bir modelin her belirteç için yaklaşık 3 milyar parametreyi etkinleştirmesi örneğini veriyor. Hedef; özetleme, çok kipli arama ve kişisel asistan gibi görevlerin daha büyük bölümünü telefonda çalıştırmak.
Paylaşılan rakamlar Qualcomm’un ürün yönetimi yazısındaki şirket ölçümleri. Henüz belirli bir satış cihazında bağımsız pil, ısı veya hız testi bulunmuyor. Gerçek performans; telefon üreticisinin soğutmasına, yazılıma, modelin boyutuna ve uygulamanın NPU’yu ne ölçüde kullandığına bağlı olacak.