• Bu site çerezler kullanır. Bu siteyi kullanmaya devam ederek çerez kullanımımızı kabul etmiş olursunuz. Daha fazla bilgi edin.

SEO İpuçları / Robots.txt

Konuyu Okuyan Kişiler (0)

teknomag

webmaster.tc
Katılım
5 Ağu 2012
Mesajlar
37
Beğeniler
0
Konum
Tokat
#1
İnternet sitenizin ve sunucunuzda bulunan bilgilerin ne kadarlık bir kısmının indirilmesi veya indirilmemesi gibi belirli sınırları çizen robot.txt bir standart veridir. Bir başka ifade ile robot.txt dökümanıyla internet sitenizde bulunan istediğiniz dosyalara başkalarının ulaşabilmesini veya ulaşamamasını sağlayabilirsiniz. Tabiki robot.txt dosyasının işlevi bunlarla sınırlı değildir.


XML formatındaki site haritasının lokasyonunu belirtebilir, sitenize gelebilecek URL’ leri kısıtlaması gerektiğini (.htaccess ile yapılabilir) söyleyebilir, belirli bir uzantıya sahip tüm dosyaların kaydedilmemesini sağlayabilir, hangi bot’un ne yapabileceğini belirleyebilirsiniz.

Robots.txt Ne Zaman Kullanılır ?

Siteniz henüz yayında değilken bile robots.txt dosyasının sitenizde aktif olarak var olması, google ve diğer arama motorlarının botları tarafından ziyaret edildiğinde sitenizin yapısal olarak hazır bulunmasınıda sağlar. Fakat bunların dışında, web adresinizde var olan herhangi bir içeriğin, sitenize gelen ziyaretçiler ve botlar tarafından bu içeriğin gözükmesini veya eğer size özel kimsenin ve botlarında görmemesini istediğiniz durumlarda robots.txt dosyasını kullanabilirsiniz. Ayrıca unutmamak gerekir ki herhangi bir subdomain kullanıyorsanız, bu adreslere özel bir robots.txt dosyası oluşturmanız tavsiye edilir.

Robots.txt İstekleri

Bir robots.txt dosyasında belirtilen kurallar uygulanabilir emirler değil, isteklerdir. Bu nedenle robots.txt dosyasının sizi her zaman güvende tuttuğu söylenemez. Bir çok arama motoru robotları robots.txt dosyasına dikkat ederek isteklerinizi yerine getirirken, bazı spam gönderici kötü niyetli botlar bu dosyayı dikkate almayabiliyor.

Basit bir robots.txt dosyası şu iki kuralı kullanır:

1. User-agent: aşağıdaki kuralın geçerli olduğu robot
2. Disallow: engellemek istediğiniz URL

En sık kullanılan robots.txt dosyaları ise şunlardır;

User-agent: *
Disallow:

Yukarıdaki istek bütün robotların, site üzerindeki bütün dosyaları tarayabileceğini söyler.

User-agent: *
Disallow: /

Bütün robotların, site üzerindeki hiçbir dosyayı taramaması istediğini belirtir.

User-agent: *
Disallow: /cgi-bin/
Disallow: /videolar/
Disallow: /tmp/
Disallow: /seo-amo/

Hiçbir robotun belirtilen dizinleri indexlememesi istediğini söyler.

User-agent: BadBot (BadBot sadece örnektir. Başka bir bot adıyla değiştirilebilir.)
Disallow: /ozelklasor/

Adı geçen bot’un belirtilen klasörü indexlememesi isteğinde kullanılır.

User-agent: BadBot
Disallow: /*.gif$

Adı geçen bot’un belirtilen uzantıdaki dosyaları indexlememesini istediğimizde kullanabiliyoruz.

Allow: /resimler/

“resimler” klasörünün indexlenmeye açık olduğunu belirtir.

Disallow: /?ref=

“?ref=” uzantılı URL’lerin kaydedilmemesi istendiğini söyler.

Sitemap: 404 - Not Found[/url]

Bot’lara site haritanızın (sitemap.xml) dosyanızın yerini bildirir.

Standart bir robots.txt ortalama şu şekilde kullanılmaktadır.

User-agent: *
Disallow: /admin/
Disallow: /dildosyasi/
Disallow: /eklentiler/
Disallow: /uygulamalar/
Disallow: /temalar/
Disallow: /tmp/
Allow: /resimler/
Allow: /uploads/
Disallow: /?ref=
Sitemap: http://www.siteadiniz.com/sitemap.xml