• Bu site çerezler kullanır. Bu siteyi kullanmaya devam ederek çerez kullanımımızı kabul etmiş olursunuz. Daha fazla bilgi edin.

Robots.Txt Nedir ? Ne İşe Yarar ?

Konuyu Okuyan Kişiler (0)

GüçNet

webmaster.tc
Katılım
6 Ağu 2012
Mesajlar
965
Beğeniler
0
Yaş
27
Konum
Akkapı
#1
Robots.txt çok kolay bir şekilde hazırlanabilen ve önemli bir dosyadır.Robots.txt sitenizde indekslenmesini istediğiniz ve istemediğinizi klasörleri seçmek için kullanılır.Çünkü hemen hemen her web sitesinde bazı dosyaların arama motorlarında gözükmemesi gerekir.Bunu önlemek için de robots.txt kullanılır.

Robots.txt Nasıl kullanılır?

User-agent: [ Buraya arama botunun ismi ]

Disallow:[Gizlemek İstediğiniz Dosya veya Klasör]

Örneğin bizim sitemizin ana dizininde “gizli” adında bir klasör mevcut ve biz bu klasörün Google tarafından indenkslenmesini istemiyoruz. O durumda oluşturacağımız robots.txt dosyası aşağıdaki gibi olmalıdır.
Disallow:/gizli/User-agent: Googlebot

Eğer bu klasörün hiçbir arama motoru tarafından indekslenmemesini istiyorsanız; yapmanız gereken değişiklik;

User-agent: *

Şeklinde olmalıdır.


Kaynak : http://www.bilgidede.com/webmaster/404/robots-txt-ne-ise-yarar.html

Not: Makale kendi blogumda tarafımca yazılmıştır.
 

proghammer

webmaster.tc
Katılım
6 Ağu 2012
Mesajlar
517
Beğeniler
0
Konum
WebMaster
#9
Robot.txt çok önemli bir faktör sakın es geçmeyin arkadaşlar..

Bu arada şifrelerinizi birbaşkalarına veriyorsanız robot.text için herhangi bir değişiklikte bulunmasınlar yanlışlıkla nofollow yazarlar Allah korusun botlar sitenize uğramaz..

Bu konuya dikkat edelim..
 

GüçNet

webmaster.tc
Katılım
6 Ağu 2012
Mesajlar
965
Beğeniler
0
Yaş
27
Konum
Akkapı
#10
Robot.txt çok önemli bir faktör sakın es geçmeyin arkadaşlar..

Bu arada şifrelerinizi birbaşkalarına veriyorsanız robot.text için herhangi bir değişiklikte bulunmasınlar yanlışlıkla nofollow yazarlar Allah korusun botlar sitenize uğramaz..

Bu konuya dikkat edelim..
haklısınız hocam katılıyorum.