Google robots.txt parçalayıcısını açık kaynak yapt

Robots.txt ayrıştırması standart hale geliyor
Yorumlar

Onur Emre Karadağ

Android Developer

Google robots.txt parçalayıcısını açık kaynak yapt

Arama robotları, bir sitenin hangi kısımlarını inceleyip hangilerini atlayacağını öğrenmek amacıyla robots.txt dosyasından yararlanıyor. REP (Robots Exclusion Protocol) olarak adlandırılan robots.txt protokolü, Google tarafından standart haline getirilmeye çalışıyor. Bu amaçla robots.txt ayrıştırıcı kütüphanesi açık kaynak olarak paylaşıldı.

Robots.txt ayrıştırması standart hale geliyor

25 yıllık REP, standart gibi gözükse de farklı web geliştiriciler robots.txt dosyasını ayrıştırırken farklı yöntemler kullanabiliyor. Haliyle bu da karışıklığa sebebiyet veriyor. Bazı arama robotlarının da boyutları yüzlerce megabayta varan robots.txt dosyalarını okumakta zorlanması durumları zorlaştıran bir başka mesele. Kısacası Google, kendi ayrıştırıcısını açık kaynak kodlu yayınlayarak bu tarz sorunların ortadan kalkıp, belli bir standardın oluşmasını istiyor.

Google, birçok iş koluna ayrılmış olsa da arama motoru kısmı şirketin temelini oluşturuyor. Sitelerin indekslenip arama sonuçlarında çıkması da Googlebot isimli arama robotu sayesinde sağlanıyor. Farklı geliştiricilerin de kendi arama robotları var. Robots.txt ayrıştırması için Google’ın yayınladığı bu kütüphane kullanılırsa, arama robotlarının da siteleri indekslemesi çok daha rahat olacak.

Tabii ki geliştiriciler tarafından benimsenmediği sürüce standart haline gelmesi mümkün değil. Ancak Google “Web site sahiplerinin ve geliştiricilerin internet deneyimini geliştirmeye odaklanıp, arama robotlarını nasıl kontrol edecekleriyle uğraşmamalarını istiyoruz.” açıklamasında bulundu. Geliştiricilerden kütüphane hakkında geri dönüşler bekleniyor. Google tarafından yayınlanan açık kaynak kütüphaneye bu bağlantı üzerinden ulaşabilirsiniz.