[Taipan]

Sitenizin arama motorlarında çıkmasını ve sitenizin içerisinin bulunmasini istemiyorsaniz bu yöntemleri kulanabilirsiniz!

siteniz.com/robots.txt

robots.txt dosyası oluşturun ve içine şu kodu yazın:

User-agent: *
allow: /

Bu kod bütün siteyi indexler.Buradaki Kod:

User-agent: *

parametresi bütün arama örümcekleri sitemi indexlesin demek.

Benim sitemi google indexlesin yeter derseniz

User-agent:Googlebot

yapmanız gerekmektedir.

Arama motorlarında çıkmasın dediğiniz dizin varsa Disallow yapmanız gerekmektedir. Örneğin admin klasörü yada cgi-bin klasörü gibi dizinler için SEO-Promotion.de in kodunu inceleyebilirsiniz.
Linkleri Görebilmek İçin Üye Olmalısınız !

aşağıdaki kodu kullanan google.com içeriğinin başka arama motorları tarafından indexlenmemesi için o şu kodu kullanıyor
Linkleri Görebilmek İçin Üye Olmalısınız !

 User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /news
Disallow: /pagead/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?

robots.txt klasörünüzü ayarladiktan sonra bunu Server'in ilk dizinine yüklemeniz gerekiyor. Genelikle index.html'in (.php,.htm) bulunduğu yere.

Hayirli olsun