Her web sitesinin kök dizininde, ziyaretçilerin neredeyse hiç görmediği iki küçük dosya bulunur: robots.txt ve sitemap.xml. Biri arama motorlarına nereye girmemeleri gerektiğini söyler, diğeri hangi sayfaların var olduğunu. İkisi de birkaç satırlık dosyalar, ama yanlış ayarlandıklarında bütün bir siteyi Google'da görünmez hâle getirebilirler.
robots.txt ne işe yarar?
robots.txt, sitenizin adresinin sonuna /robots.txt yazarak görebileceğiniz düz bir metin dosyası. Arama motoru botları siteyi taramaya başlamadan önce bu dosyayı okur ve hangi bölümlere girmemeleri istendiğini öğrenir.
Tipik bir küçük işletme sitesinde dosya çok kısadır. Tüm botlara hitap eden bir satır, yönetim paneli ya da sepet gibi taranmasına gerek olmayan birkaç klasörü engelleyen kurallar ve site haritasının adresini gösteren bir satır. Örneğin “User-agent: *” satırı tüm botlara hitap eder, “Disallow: /admin/” satırı yönetim paneli klasörünün taranmamasını ister.
Burada çok sık karıştırılan bir nokta var. robots.txt, bir sayfanın taranmasını engeller ama dizine eklenmesini garantili biçimde engellemez. Başka sitelerden bağlantı alan bir sayfa, taranmasa bile arama sonuçlarında adresiyle görünebilir. Bir sayfanın Google'da hiç çıkmamasını istiyorsanız doğru araç, o sayfaya eklenen “noindex” etiketidir. Ve noindex etiketinin okunabilmesi için sayfanın robots.txt ile engellenmemiş olması gerekir.
Sitemap ne işe yarar?
Site haritası (sitemap.xml), sitenizdeki dizine eklenmesini istediğiniz sayfaların listesi. Her sayfanın adresini ve isteğe bağlı olarak son güncellenme tarihini içerir.
Google sayfaları normalde bağlantıları takip ederek bulur. Site haritası, bu keşfi hızlandırabilir ve özellikle yeni sitelerde, sitenin derinlerinde kalan sayfalarda ya da sık güncellenen içerikte işe yarar. Tek bir site haritası dosyasının adres sayısı ve boyutu için bir üst sınır var; küçük sitelerin bu sınıra yaklaşması pek mümkün değil, güncel sınırı Google'ın dokümanından görebilirsiniz.
Site haritasında yalnızca dizine eklenmesini istediğiniz, çalışan ve kanonik adresler olmalı. Yönlendirilen adresler, 404 veren sayfalar ya da noindex etiketli sayfalar listeye girmemeli. Modern altyapıların çoğu site haritasını otomatik oluşturur; yeni bir sayfa eklendiğinde listeye kendiliğinden girer.
Site haritasını oluşturduktan sonra adresini robots.txt dosyasına ekleyin ve Search Console'da Site haritaları bölümünden gönderin.
En sık yapılan hatalar
En tehlikelisi şu iki satır: “User-agent: *” ve “Disallow: /”. Bu kural, tüm arama motorlarının sitenin tamamını taramasını engeller. Geliştirme aşamasında, henüz hazır olmayan sitenin Google'da görünmemesi için sıkça kullanılır. Sorun, site yayına alındığında kaldırılmasının unutulması. Sonuç: Haftalarca Google'dan neredeyse hiç trafik gelmez ve kimse nedenini anlamaz. Sitesi Google'da çıkmayan işletmelerle ilgili yazımızda bu, kontrol listesinin ilk maddelerinden biri.
Diğer yaygın hatalar daha sessiz. CSS ve JavaScript dosyalarının bulunduğu klasörleri engellemek, Google'ın sayfayı doğru görüntülemesini engeller. Site haritasında eski, yönlendirilmiş ya da silinmiş sayfaların kalması Google'ın vaktini boşa harcatır. Site haritasının adresinin robots.txt'de yanlış yazılması ya da http ve https sürümlerinin karışması da sık rastlanan sorunlar.
Yapay zekâ botlarına izin vermeli misiniz?
Son birkaç yılda robots.txt'ye yeni bir soru eklendi: Yapay zekâ şirketlerinin botları sitenizi tarayabilmeli mi?
Burada botları iki gruba ayırmak işe yarıyor. Bir grup, yapay zekâ modellerinin eğitimi için veri toplar. OpenAI'nin GPTBot'u ve Google'ın Gemini eğitimi için kullandığı Google-Extended izni bu gruba örnek. Diğer grup ise kullanıcının sorusuna cevap verirken sayfanızı canlı olarak okur ve kaynak gösterir; OpenAI'nin OAI-SearchBot'u ya da PerplexityBot gibi. Google'ın açıklamasına göre Google-Extended'ı engellemek, Google arama sonuçlarındaki görünürlüğünüzü etkilemiyor.
Çoğu küçük işletme için önerimiz, en azından arama ve cevap amaçlı botlara izin vermek. Sitenizin yapay zekâ asistanlarında kaynak gösterilmesini istiyorsanız, onları engellemek kendi ayağınıza sıkmak olur. Eğitim botlarına izin konusu daha çok bir tercih meselesi; özgün içeriği ürününüz olan yayıncılar, fotoğrafçılar ya da eğitim içeriği satanlar için engellemek daha anlamlı olabilir.
Bot adları ve kuralları zaman zaman değiştiği için güncel listeyi ilgili şirketlerin dokümanlarından kontrol edin. Yapay zekâ araçlarına sitenizi tanıtmak için önerilen llms.txt dosyasını ayrı bir yazıda anlattık.
Nasıl test edilir?
İlk test basit: Tarayıcıda sitenizin adresinin sonuna /robots.txt ve /sitemap.xml yazın. İkisi de açılmalı. robots.txt'de “Disallow: /” satırını arayın.
Search Console'daki robots.txt raporu, Google'ın dosyanızı en son ne zaman okuduğunu ve bir hata olup olmadığını gösterir. Site haritaları raporunda gönderdiğiniz haritanın durumunu ve kaç sayfanın keşfedildiğini görürsünüz. Belirli bir sayfanın engellenip engellenmediğini görmek için URL Denetleme aracına o sayfanın adresini yazmanız yeterli.
Bu kontrolü her site yenilemesinden ve her büyük güncellemeden sonra tekrarlayın. İki dakikalık bir iş ve haftalarca süren görünmez bir trafik kaybını önleyebilir.
Sıkça Sorulan Sorular
Küçük bir sitenin site haritasına ihtiyacı var mı?
Zorunlu değil; iyi bağlantılandırılmış küçük bir siteyi Google bağlantıları takip ederek de bulabilir. Ama site haritası keşfi hızlandırabilir, Search Console'da hangi sayfaların dizine eklendiğini takip etmeyi kolaylaştırır ve çoğu altyapıda otomatik oluşturulduğu için eklememek için bir sebep yok.
robots.txt ile bir sayfayı Google'dan kaldırabilir miyim?
Güvenilir biçimde hayır. robots.txt taramayı engeller ama dizinden çıkarmayı garanti etmez. Bir sayfanın arama sonuçlarından kalkması için sayfaya noindex etiketi ekleyin ve robots.txt ile engellemeyin ki Google bu etiketi okuyabilsin.
Blog yazıları genel bilgilendirme amaçlıdır; hukuki, mali veya teknik danışmanlık yerine geçmez.
