Önlemlere rağmen yapay zeka şirketleri interneti kazıyor

robots.txt görmezden geliniyor
Yorumlar

Metin Akpınar

Teknoloji Editörü

Önlemlere rağmen yapay zeka şirketleri interneti kazıyor — Yapay zeka şirketleri sitemlerini daha fazla geliştirebilmek için internetteki verilere adeta hücum ediyor. Verilerini ve içeriklerini şirketlere kaptırmak istemeyen web siteleri ise ortak bir web standardı ile kendilerini koruyorlar. En azından şimdiye kadar koruduklarını düşünüyorlardı. Zira yeni gelen bilgilere göre **yapay zeka şirketleri**, alınan önlemleri aşarak web sitelerinden **veri kazımaya devam** ediyor.

robots.txt görmezden geliniyor

Aktarılanlara göre ücretsiz bir yapay zeka arama motoru olarak tanımlanan Perplexity, Forbes'in haberlerini çalmak ve yeniden yayınlamakla suçlanıyor. Perplexity’nin bir sitenin hangi bölümlerinin taranmasına izin verildiğini belirlemek için yaygın olarak kabul edilen bir standart olan Robots Exclusion Protocol veya daha bilindik adıyla robots.txt’yi görmezden geldiği ortaya çıkarıldı. 1994 yılından beri kullanılan bu protokole şimdiye kadar genellikle uyuluyor olsa da esasında ortada bir zorunluluk bulunmuyor ve gönüllük esasına dayanıyor.

Wired’e göre Perplexity, kendileri de dahil olmak üzere Condé Nast yayınlarının web sitelerinden verileri kazımayı sürdürüyor. Öte yandan görünüşe göre robots.txt’deki “taramayın” sinyallerine rağmen web sitelerinden içerikleri çeken tek yapay zeka şirketi Perplexity de değil. OpenAI ve Anthropic'in de robots.txt sinyallerini görmezden gelerek verileri çektiğini söylüyor. Her iki şirket de daha önce web sitelerinin robots.txt dosyalarına koydukları "taramayın" talimatlarına saygı duyduklarını açıklamıştı.

Perplexity ise robots.txt’ye saygı duyduklarını söylüyor. Ancak bu, protokolü görmezden gelen arama robotların faydalanmadıkları anlamına gelmiyor. Şirkete göre tespit edilen bulgular robotlardan birine ait. Ayrıca Perplexity CEO'su Aravind Srinivas’a göre robots.txt’nin bir yasal zorunluluğu bulunmuyor ve yayıncılar ile AI şirketlerinin yeni bir ilişki kurması gerektiğini ifade ediyor.

Kaynakça https://www.engadget.com/ai-companies-are-reportedly-still-scraping-websites-despite-protocols-meant-to-block-them-132308524.html https://www.wired.com/story/perplexity-is-a-bullshit-machine/