• Bu site çerezler kullanır. Bu siteyi kullanmaya devam ederek çerez kullanımımızı kabul etmiş olursunuz. Daha fazla bilgi edin.

Arama Motorlarını Nasıl Engellerim?

Konuyu Okuyan Kişiler (0)

rapoel

webmaster.tc
Katılım
19 Ağu 2012
Mesajlar
700
Beğeniler
0
Konum
İstanbul
#1
HTML de klasörüm içerideki bazı .html sayfalarının google ve diğer arama motorları tarafından engellemek istiyorum. Basit bir kodu vardı onun noindex diye sanırım .txt dosyası mı ne yapıyorduk ama bulamadım yardımcı olursanız sevinirim.
 

nks0urce

webmaster.tc
Katılım
9 Eyl 2012
Mesajlar
143
Beğeniler
0
#2
robots.txt dosyası sadece belirli bir şekilde düzenlenmiş metin içeriğine sahip olmalıdır ve asla HTML kodları içermemelidir. Aşağıdaki örnekleri inceleyelim;

Tüm robotların blog’unuzun tamamını indekslemesini engellemek için;
User-agent: *
Disallow: /

Blog’unuzun tamamının robotların birisi tarafından indekslenmesini engellemek için;
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:

Tüm robotların blog’unuzun tamamını indekslemesi için;
User-agent: *
Disallow:

Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.

Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;
User-agent: *
Disallow: /dizin-adi/

Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;
User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html

Robots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok :)

Örnek bir kod aşağıdaki şekilde olabilir;

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/private/
Disallow: /private.html
 

rapoel

webmaster.tc
Katılım
19 Ağu 2012
Mesajlar
700
Beğeniler
0
Konum
İstanbul
#5
Aynı yazıyı bende okumuştum ama nedense ilk okuduğumda anlamamıştım sen paylaşınca hatırladım nasıl olduğunu :)