Bir yapay zekâ modelinin yeni bir durumu anlayıp anlamadığını ölçmek kolay değil. ARC-AGI-1 bu soruya renkli karelerden oluşan görsel bulmacalarla yaklaşan bir test.
Her görevde sistem birkaç giriş ve doğru çıkış örneği görür. Ardından yeni bir giriş için aynı mantığı uygulayarak sonucu üretmesi beklenir. Bir şekli döndürmek, taşımak veya birden çok kuralı bir arada izlemek gerekebilir.
Ama test puanının anlamı kullanılan koşullara bağlıdır: Kaç denemeye izin verildiği, modelin hangi örnekleri gördüğü ve hesaplama bütçesi sonucu etkiler.
BDH-CQ adlı deneysel modelin kamuya açık ARC-AGI-1 sorularında iki denemede yaklaşık yüzde 29,5 başarı bildirmesi bu yüzden belirli bir test koşuluna ait sonuçtur. “Yapay zekâ artık insan gibi düşünüyor” diye okunamaz.
Bu test, modellerin örneklerden görsel kural öğrenme becerisini karşılaştırmaya yarar. Genel akıl yürütmenin bütün yönlerini tek başına ölçmez. Konuya dair BDH-CQ haberimizde modelin yöntemi ve araştırmanın sınırları ayrıntılı olarak yer alıyor.