Cloudflare, yapay zeka endüstrisi için yeni bir süre belirledi: 15 Eylül 2026 tarihinden itibaren varsayılan ayarlar, reklam barındıran sayfalarda “karışık kullanım” yapabilen web crawlerlarını engelleyecek. Bu crawlerlar, hem geleneksel arama motoru işlevlerini hem de AI ajanları ve model eğitimi için aynı anda kullanılan botlardır. Site sahibi ayarları elle değiştirmedikçe bu botlar ilgili sayfaları tarayamayacak şekilde engellenmeyecek. Değişiklik, yeni Cloudflare müşterileri, mevcut müşterilerin yeni kurduğu siteler ve tüm ücretsiz müşteriler için geçerli olacak.
Bu uygulama, AI model sağlayıcıların web içeriklerine erişim şekillerini etkileyebilecek; eğitim verisi toplama ve ajan hizmetlerini güçlendirme amaçlı kullanılan crawlerların engellenmesi bekleniyor. Cloudflare, site sahiplerinin içeriklerinin hem arama motorları üzerinden hem de AI hizmetleri üzerinden keşfedilebilmesini istediklerini, ancak aynı zamanda fikri mülkiyetlerinin ücretsiz kullanılarak dağıtılmasını istemediklerini belirtiyor. Dünyanın en büyük arama motoru olarak gösterilen Google, bu açıklamada “2x daha fazla bilgi” erişimine sahip olduğu vurgulanıyor; Google, site sahiplerinin içeriklerini AI eğitiminden çıkarması için Google Extended adlı bir bot sunuyor, ancak Googlebot yine de arama özellikleriyle birlikte AI Overviews ve AI Mode gibi işlevler için içerikleri taramaya devam ediyor.
Cloudflare ortak founded ve CEO Matthew Prince, “İnternet trafiğinin çoğu artık insan tarafından değil, botlar tarafından üretildiği için sürdürülebilir bir ekosistem oluşturmamız gerekiyor” ifadesini kullanarak, bu adımın insan‑bot trafiği dengesi hakkında yaptığımız yeni bir milestonu desteklediğini belirtti. Prince, yeni araçlar ve ortaklıklarla site sahiplerinin görünürlüğüne ve ticari fırsatlarına katkı sağlayacaklarını, ayrıca AI şirketlerinin net ve şeffaf niyetli botlarını kullanmaya teşvik edeceklerini söyledi.
Cloudflare, daha önce AI botlarla mücadele amacıyla piyasaya sürdüğü “Pay Per Crawl” aracını “Pay Per Use” modeline evrimleştiriyor. Bu yeni sistem, yayıncılara içeriklerinin sadece çekilmesi değil, değeri oluşturduğu her an için ödeme alma imkanı tanıyor. Verilere göre, AI crawler trafiğinin %50’den fazlası değişmeyen sayfaların yeniden çekilmesinden kaynaklanıyor; bu da band width ve hesaplama kaynaklarının tüketimini artırıyor. Pay Per Use ile bu gereksiz tüketim azaltılmayı hedefleniyor. Şu anda Cloudflare, Ceramic.ai ve You.com ile iş birliği yaparak modeli test ediyor; yayıncılar, içerikleri Ceramic’in AI arama sonuçlarında göründüğü veya You.com tarafından premium içerik erişildiği zaman ödeme alabiliyor. Diğer AI şirketleri de bu modeli kendi iş akışlarına uyarlayabilecekleri belirtiliyor.
Yorum Yap