AI altyapı maliyetlerinin kontrol altına alınması ve tedarikçi kilidinin kırılması ihtiyacı, farklı donanımlar arasında optimize edilmiş çıkarım yazılımlarını sektörün en kritik gündem maddesi haline getiriyor. Bu bağlamda Turing Ödülü sahibi Yann LeCun tarafından desteklenen ve yükselişte olan Fransız AI girişimi ZML, açık kaynaklı büyük dil modelleri olan open source LLMlerin Nvidia, AMD, Google TPU, Apple Metal ve Intel Arc gibi çeşitli çipler üzerinde çalışmasını sağlayan bir çıkarım performans yazılımını duyurdu. Şirketin yeni başlattığı LLM çıkarım sunucusu ZML/LLMD, mevcut siloları yıkarak farklı AI çiplerinin maksimum mevcut hızlarında ve kimi zaman daha da hızlı biçimde kullanılabilmesini hedefliyor.
Kurucu Steeve Morin’e göre AI artık iş hayatımıza ve günlük rutinlerimize entegre oldukça, inference yani istemlerin işlenmesi sürecinin optimize edilmesi, model eğitiminden daha büyük bir önem kazanmaya başladı. Ancak arka planda bu durum yazılım ve mimari engeller nedeniyle parçalı bir görünüm sergiliyor ve tedarikçi kilidine yol açıyor. Farklı çipler üzerinde tepe performansa ulaşmak yalnızca teknolojik bir başarı değil, aynı zamanda artan AI maliyetleri kaygısı içinde pazarı altüst edebilecek bir etkiye sahip. ZML, işletmelere ve bulut sağlayıcılarına daha düşük maliyetli ya da daha az enerji tüketen çipleri karışık biçimde kullanma seçeneği sunarak gerçek verimlilik artışları elde etmelerini ve AI’ın daha geniş kitlelere yayılmasını amaçlıyor.
Morin, bu yazılım desteğinin özellikle Avrupa kökenli birçok yeni AI çip üreticisine yardımcı olabileceğini belirtiyor ve Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud ile VSORA gibi şirketleri örnek gösteriyor. Onun için asıl önemli olan bu şirketlerin coğrafi kökeni değil, ZML’in henüz dünyanın hiçbir yerinde yapılmamış işler için onlarla birlikte çalışabilmesi. Morin Nvidia’ya karşı olumsuz bir tutum da takınmıyor; mevcut tedarik gücü ve inference çağının yükselişine hazırlanması nedeniyle AI çip deviyle iyi bir ilişkileri olduğunu vurguluyor. Çıkarım alanına yapılan yoğun yatırım inference gold rush yani çıkarım altın yarışı olarak anılırken, ZML’in 13 milyar dolar değerlemeye ulaşan Baseten, vLLM projesinin yaratıcılarından Inferact ve SGLang’in arkasındaki RadixArk gibi rakipleri bulunuyor.
vLLM ve SGLang kısmen LLMD ile rekabet etse de Morin’in ZML vizyonu çok daha geniş bir spektrumu kapsıyor ve silikon yani çip seviyesinde ortak tasarım süreçlerine girdiklerini ifade ediyor. Paris merkezli startup’ın 20 kişilik yalın ekibi, hızlı hareket etmesini ve planlanan daha fazla sürümü hayata geçirmesini sağlayan temel etken olarak öne çıkıyor. Morin, 2017’de Snapchat tarafından sekiz haneli rakama satılan Zenly’de mühendislik direktörü olarak gösterdiği başarı sayesinde Harry Stebbings’in 20VC’si gibi VC firmalarından, >commit, AALVC, Drysdale Ventures, Xavier Niel’in Kima Ventures’ı, Kindred Capital, LocalGlobe ve Puzzle Ventures’tan 20 milyon dolar yatırım çekmeyi başardı.
ZML’in Mart ayında güncellenen ve 2024’te çıkardığı ilk açık kaynak framework projesinin aksine, ZML/LLMD açık kaynak değil. Buna rağmen kullanım kalıplarını öğrenmek amacıyla ücretsiz bir ürün olarak yayınlandı. Morin, en başta aşırı açgözlü davranıp büyümeyi gereksiz yere engellemek yerine, nerede en etkili şekilde gelir yaratılacağını ölçmeyi tercih ettiğini belirtiyor. Ürünün ne zaman ücretli hale geleceği ve benimsenme oranlarının nasıl şekilleneceği henüz belirsizliğini korurken, girişimin cap table yani yatırımcı tablosu Dagger ve Docker kurucusu Solomon Hykes, Hugging Face’ten Clément Delangue ve Julien Chaumond ile artık AMI Labs bünyesinde olan LeCun gibi isimlerin dikkatini çektiğini kanıtlıyor.
Avrupa’nın AI girişim ekosisteminin kendi topraklarında küresel ölçekte rekabet edebilen yapılar kurabildiğinin bir göstergesi olarak, ZML örneği kıtadaki teknik yeteneğin ve sermaye erişiminin olgunlaştığına işaret ediyor. Morin’in ZML’yi Paris dışında hiçbir yerde yapamayacağını vurgulaması, yetenek havuzu ve destekleyici ekosistemin yerel bağlamını güçlendirirken, çoklu çip uyumlu inference yazılımlarının yaygınlaşması AI değer zincirinde güç dengesini donanım tekelinden yazılım katmanına doğru kaydırabilir.
Yorum Yap