Miami merkezli AI girişimi Subquadratic, büyük dil modellerini (LLM) zorlayan on yıllık bir matematiksel sınırlamayı aşmış olduğunu iddia ediyor. Şirket, SubQ adını verdiği yeni bir modelin, mevcut en iyi modellerle benzer performans sunarken maliyet, enerji tüketimi ve işlem hızı açısından büyük bir avantaj sağladığını açıkladı.
SubQ, aynı anda on iki kat daha fazla metni işleyebildiği için devasa belge topluluklarını ya da bütün kod tabanlarını analiz etme gibi veri yoğun görevlerde öne çıkıyor. Bunun yanı sıra, Google DeepMind, OpenAI ve Anthropic gibi devlerin en iyi modelleriyle kıyaslandığında kodlama gibi kritik görevlerde benzer başarı oranları yakaladığı belirtiliyor. İlk duyuruda sınırlı kanıt sunulması ve modelin genel kullanıma açılmaması nedeniyle şüpheler oluşmuştu; ancak bağımsız değerlendirme firması Appen’in yaptığı testler, iddiaların büyük ölçüde doğrulandığını gösterdi.
Appen’in raporuna göre SubQ, FlashAttention tabanlı modellerin 56 katı hızla çalıştı ve LiveCodeBench testi gibi rekabetçi kodlama değerlendirmelerinde %89,7 başarı puanı elde ederek üst düzey kodlama modelleriyle aynı seviyeye ulaştı. Enerji ve maliyet açısından da çarpıcı bir fark ortaya çıktı: Anthropic’in Opus 4.6 modeli için 2.600 dolar harcayan Subquadratic, aynı testi sadece 8 dolar maliyetle tamamlayabildiğini belirtti.
Modelin temel yeniliği, transformer mimarisindeki yoğun dikkat (dense attention) yerine seyrek dikkat (sparse attention) kullanması. Yoğun dikkat, metindeki her token’ı diğer tüm token’larla çarparak karekök bir işlem yükü oluştururken, seyrek dikkat sadece önemli ilişkileri seçerek bu hesaba dramayı bir ölçüde indiriyor. Subquadratic, hangi token’ların seçileceğini metnin içeriğine göre dinamik olarak belirleyen özgün bir mekanizma geliştirdiğini ve bu sayede sıkı kalıplara bağlı kalmadan anlam bütünlüğünü koruduğunu iddia ediyor.
SubQ henüz geniş çapta erişilebilir olmasa da 12 milyon token’lık bir bağlam pencere boyutu sunuyor; bu, güncel en iyi modellerin bir milyon token sınırının çok ötesinde bir kapasite. Uzun metinlerde ve büyük veri setlerinde etkili olabilen bu yapı, yapay zeka altyapısının daha sürdürülebilir ve ekonomik bir geleceğe yönelmesini vaat ediyor. Subquadratic, bu gelişimin transformer tabanlı yaklaşımların ötesine geçerek yeni bir verimlilik çağı başlatacağını öne sürüyor.
Yorum Yap