Önlemlere rağmen yapay zeka şirketleri interneti kazımaya devam ediyor

robots.txt görmezden geliniyor

Aktarılanlara göre ücretsiz bir yapay zeka arama motoru olarak tanımlanan Perplexity, Forbes'in haberlerini çalmak ve yeniden yayınlamakla suçlanıyor. Perplexity’nin bir sitenin hangi bölümlerinin taranmasına izin verildiğini belirlemek için yaygın olarak kabul edilen bir standart olan Robots Exclusion Protocol veya daha bilindik adıyla robots.txt’yi görmezden geldiği ortaya çıkarıldı. 1994 yılından beri kullanılan bu protokole şimdiye kadar genellikle uyuluyor olsa da esasında ortada bir zorunluluk bulunmuyor ve gönüllük esasına dayanıyor.

Wired’e göre Perplexity, kendileri de dahil olmak üzere Condé Nast yayınlarının web sitelerinden verileri kazımayı sürdürüyor. Öte yandan görünüşe göre robots.txt’deki “taramayın” sinyallerine rağmen web sitelerinden içerikleri çeken tek yapay zeka şirketi Perplexity de değil. OpenAI ve Anthropic'in de robots.txt sinyallerini görmezden gelerek verileri çektiğini söylüyor. Her iki şirket de daha önce web sitelerinin robots.txt dosyalarına koydukları "taramayın" talimatlarına saygı duyduklarını açıklamıştı.

Perplexity ise robots.txt’ye saygı duyduklarını söylüyor. Ancak bu, protokolü görmezden gelen arama robotların faydalanmadıkları anlamına gelmiyor. Şirkete göre tespit edilen bulgular robotlardan birine ait. Ayrıca Perplexity CEO'su Aravind Srinivas’a göre robots.txt’nin bir yasal zorunluluğu bulunmuyor ve yayıncılar ile AI şirketlerinin yeni bir ilişki kurması gerektiğini ifade ediyor.