Robots.txt Nedir? Nasıl Kullanılır?

Robots.txt Nedir? Kullanımı Nasıldır?

Bu yazıyı okuma süresi: 2 dakika

Google’ın çok ironik bir çalışma politikası var. Teorik olarak baktığımızda; “Eğer sen beni boş yere yorarsan, ben de seni ödüllendirme (sıralamada üst sıralara çıkarma) işini bir kez daha düşünürüm.” diyor. Kısacası Robots.txt kullanın Google botlarını boş yere yormayın. SEO çalışmalarını sağlıklı yürütün.

Robots.txt Nedir?

Web sitenizi bir mağaza olarak düşünün. Bu mağazayı tanıtmak istiyorsunuz. Mağazanızı değerlendirmek ve popüler platformlara mağaza hakkında bir görüş bildirmek için ziyarete gelen kişiler var. Mağazanın kimlere hitap ettiğini, ne kadar şık olduğunu, ortalama ne kadar sürede gezebileceğinizi ve bu deneyiminizin ne kadar keyifli olacağı hakkında görüş bildiriyorlar. İşte bunlar Google’ın botlarıdır; web sitesini gezer ve değerlendirir.

Şimdi, siz mağazanın müşterilere açık olmayan kısımlarını müştere zaten göstermeyeceksiniz. Sadece bu kısımlar da değil, mesela önceden kullandığınız ama artık kullanılmayan kısımlar, hala açık olan ama kısa süre sonra kapanacak olan kısımlar da değerlendirilsin istemiyorsunuz.

Gerek yok. Mağazanın daha iyi görünmesi için davet ettiniz o uzmanları.

Mağazanın değerlendirilmesini istemediğiniz bölümleri, ziyarete gelen uzmanlara anlatmak için bir sayfaya yazabilirsiniz. Çünkü bu kişiler her zaman gelebilirler mağazaya. Bazen haftada bir, bazen 3-4 günde bir, bazen de her gün… Bu nedenle her gediklerinde kolaylıkla nereleri incelemeleri gerektiğini anlayabilmeleri için bu sayfayı sadece onların görebileceği bir yere bırakıyorsunuz. Mesela danışmadaki bir dosyanın içine.

İşte bu bıraktığımız dosya da Robots.txt’dir. 

Botlar geldiğinde ilk bu dosyayı inceler. Hangi sayfaların indekslenmesi isteniyor, hangilerinin indekslenmesi istenmiyor bu dosyadan anlar. Böylece gereksiz yere tüm dosyaları gezmek zorunda da kalmazlar. Günün sonunda Google da bize teşekkürünü emeğimizin karşılığı olarak sunar.

Robots.txt’den sonra ise site haritası kontrol edilir. Hangi sayfalar var, ne kadar önemliler ve en son ne zaman güncellenmişler. Botlar sitedeki sayfaları boş yere taramamış olur, onlar da güzel bir deneyim yaşamış olur. Hem kullanıcısını hem de botları memnun eden site güzel sıralamalarda yer alır.

Robots.txt’yi Hangi Sayfalar İçin Kullanabiliriz?

Botların gezmesine gerek olmayan tüm sayfaları, Robots.txt komutuyla yoksayabiliriz. Kısaca şunları sıralayabilir:

• 404 sayfaları

• Yönlendirilmiş sayfalar

• Admin sayfaları

• Sistem sayfaları

Bunlar sadece birkaç örnek. Web sitesinin yapısına göre ve stratejisine göre bu sayfalar şekillendirilebilir.

Robots.txt Dosyası Nasıl Kullanılır?

Öncelikle başlangıçta insanın gözünde büyüyen ve karmaşık bir dünya gibi görünebilir fakat denedikçe aslında o kadar da karmaık olmadığını göreceksiniz.

Bir metin belgesi oluşturarak başlayalım. Metin belgesinin adını “robots.txt” yapacağız. Böylece daha sonra Search Console’a eklerken işimizi kolaylaştıracak.

Belgeyi açıp, hedeflemeleri yapacağız. Aşağıdaki görseli bir örnek olarak inceleyebilirsiniz.

Robots.txt Örneği

User-agent, siteyi tarayacak botların geldiği tarayıcıdır. Kullandığımız “*” sembolü de hepsini kapsadığımız anlamına geliyor. Sıra bu botların ziyaret etmesini istemediğimiz sayfaları belirtmeye geldi.

Disallow, engelleme komutumuzdur. Sonrasında ise hedef sayfayı yazıyoruz. Kaydetmeyi unutmayın.

Belgeyi sitenin dosyalarının içine atmamız gerekecek. /public.html dosyasının içine atın.

Search Console’da Kontrol Etme

Searxh Console’un eski sürümünde robots.txt testing tool  hala çalışıyor. Buradan kontrollünü yapabilirsiniz. Eğer gelecekte yok olursa o zaman bu yazıyı güncelleriz artık 🙂

Author: Oğuz Dağlı



Leave a Reply

Your email address will not be published.