LLM’lerin yetenekleri arttıkça, sahte bilgi üretme (halüsinasyon) sorunu da daha belirgin hâle geldi; en akıllı modellerde bile hatalar kaçınılmaz bir hâl alıyor. Bu sorunu kökten çözmek için çalışan yeni girişim Probably, Andreessen Horowitz’tan 9 milyon dolarlık tohum yatırımını aldı ve hataları önleyecek daha titiz bir sistem geliştirmeyi amaçlıyor.
Kurucu Peter Elias, şirketin amacını kullanıcıya ulaşmadan önce halüsinasyonları ve basit doğruluk hatalarını engellemek ve deterministik sistemlerde sıkça görülen %99,99 doğruluk seviyesine benzer bir performans elde etmek olarak tanımlıyor. Bunun için LLM’lerin temel mühendislik varsayımlarını yeniden gözden geçirmek gerekiyor.
Probably’nin ilk ürünü, karmaşık veri setlerinden hızlı yanıtlar üreten bir veri bilimi aracı. Her sonuç kaynak gösterimi ve geliştirme süreci izlenebilirliğiyle birlikte geliyor; bu, AI araçları arasında giderek yaygınlaşan bir uygulama. Yanıltıcı özetlerin önüne geçmek amacıyla Elias, sistemin bir “veri bilimi mek suit”i olarak nitelendirdiği kapsamlı bir kontrol mekanizması kurdu. LLM’nin ilk yanıtları, veri setiyle tutarsız olan sonuçları geri çeviren deterministik bir doğrulayıcıyla karşılaştırılıyor. LLM, bu doğrulayıcıya göre eğitildiği ve tüm sistem, hızlı ve doğru cevaplar için optimize edildi.
Elias, “Kontrol mühendisliğiniz ne kadar iyiyse, model o kadar zayıf olabilir” diyerek, bağlamı ne kadar netleştirirsek modelin doğru davranması için daha az çaba harcaması gerektiğini vurguluyor. Bu yaklaşım sayesinde veri bilimi aracı, çok daha küçük AI modelleriyle çalışabiliyor. Şu anda kullanılan model, en yeni modellerin dört sınıf altında, yani bir veri merkezi yerine masaüstü bilgisayarda çalıştırılabiliyor; bu da AI kullanımının token maliyetlerini önemli ölçüde düşürüyor.
Token maliyetlerinin yükseldiği ve birçok müşterinin AI bütçelerini yeniden gözden geçirdiği bir dönemde, bu çözüm özellikle ilgi çekici. Elias, aynı motorun muhasebe, tıp gibi hassas doğruluk gerektiren alanlara da uygulanabileceğini belirtiyor. Büyük AI laboratuvarlarının bu tür bir çabayı göze almadığını, çünkü model hatalarını düzeltme ihtiyacının onlara ek gelir sağladığını ifade ediyor.
Yorum Yap