Robots.txt ile URL Engelleme Nasıl Yapılır?

Bir web sitesinin arama motorları tarafından nasıl taranacağını kontrol etmek, dijital görünürlüğü yönetmenin önemli bir parçasıdır. Robots.txt dosyası, bu kontrolü sağlamak için kullanılan basit ama etkili bir araçtır. Bu dosya sayesinde, belirli sayfaların veya dizinlerin arama motoru botları tarafından taranması engellenebilir.

Robots.txt, sitenin kök dizininde yer alan düz metin formatında bir dosyadır. Arama motoru botları, bir siteyi ziyaret ettiklerinde ilk olarak bu dosyayı kontrol eder. Dosyada yer alan yönergeler, hangi sayfaların taranmasına izin verileceğini ya da hangilerinin engelleneceğini belirtir.

URL engelleme işlemi, genellikle gizli kalması istenen içerikler için tercih edilir. Örneğin, yönetici panelleri, test sayfaları, tekrar eden içerikler veya kullanıcıya özel alanlar gibi bölümler arama motorlarından uzak tutulmak istenebilir. Bu sayede hem gizlilik sağlanır hem de arama motorlarının gereksiz sayfaları taraması önlenmiş olur.

Engelleme işlemi yapılırken dikkat edilmesi gereken bazı noktalar vardır. Robots.txt dosyası yalnızca taramayı engeller; dizine eklenmeyi tamamen önlemez. Yani bir sayfa daha önce arama motoru tarafından dizine eklenmişse, robots.txt ile engellense bile arama sonuçlarında görünmeye devam edebilir. Bu nedenle, dizine eklenmesini de engellemek istenen sayfalarda ek önlemler alınması gerekir.

Robots.txt dosyasının doğru konumda yer alması önemlidir. Dosya, sitenin ana dizininde bulunmalı ve arama motorları tarafından kolayca erişilebilir olmalıdır. Yanlış yerleştirilen veya hatalı yapılandırılan bir dosya, istenmeyen sonuçlara yol açabilir.

Tüm (botları) siteyi engellemek:

User-agent: *
Disallow: /

Belirli bir klasörü engellemek:

User-agent: *
Disallow: /gizli-klasor/

Belirli bir sayfayı engellemek:

User-agent: *
Disallow: /ornek-sayfa.html

Sadece Bing botunu engellemek:

User-agent: Bingbot
Disallow: /

Bu yapı, yalnızca Bing’in tarayıcısı olan Bingbot’un sitenin hiçbir bölümünü taramamasını sağlar. Diğer arama motorları (örneğin YandexBot) bu kuraldan etkilenmez ve siteyi normal şekilde taramaya devam eder.

Bir klasörü engelleyip içindeki bir dosyaya izin vermek:

User-agent: *
Disallow: /dosyalar/
Allow: /dosyalar/indirilebilir.pdf

Sorgu parametrelerini engellemek (örneğin filtreli URL’ler):

User-agent: *
Disallow: /*?

Belirli dosya türlerini engellemek (örneğin PDF):

User-agent: *
Disallow: /*.pdf$

Robots.txt yalnızca taramayı engeller, dizine eklenmeyi değil. Daha önce dizine eklenmiş sayfalar arama sonuçlarında görünmeye devam edebilir.

# işareti yorum satırı olarak kullanılır. Botlar bu satırları dikkate almaz. Büyük/küçük harf duyarlılığı vardır. /Admin/ ile /admin/ farklıdır. * karakteri joker olarak kullanılır (herhangi bir karakter dizisi anlamına gelir). $ karakteri satır sonunu belirtir (örneğin .pdf$ sadece .pdf ile bitenleri hedef alır).