Robot.txt Nedir?

Robot.txt Nedir?

Robot.txt Nedir başlıklı yazımız sayesinde Robot.txt hakkında detaylı bilgiler elde edebilirsiniz. Robot.txt dosyası sitenizde bulunan ve arama motorlarının görmesini istemediğiniz linklerin bulunduğu dosyanın adıdır. Robot.txt aynı zamanda kök dizinde yer alır. Robot.txt dosyası basit komutları kullanır ve Robotları Engelleme Standar'dından faydalanır.

Robot.txt dosyasının adı asla değişmez ve değiştirelemez. Google Botları başta olmak üzere diğer bütün arama motorları da ilk olarak bir web sayfasında bu dosyayı ziyaret eder. Robot.txt Google başta olmak üzere diğer arama motorlarının da botları için olmaz ise olmazların en başında gelmektedir. Şimdi hep beraber Robot.txt oluşturma hakkında detaylı bilgilere bakalım.

Robot.txt oluşturmak için yapmanız gerekenler:
1) Öncelikle yeni bir metin belgesi açın ve adını da Robot.txt olarak kaydedin.
2) Bu belge içinde 2 adet değişken türü yer alacak bunlar
User-agent: Google Botunun adı gelecek buraya
Disallow: Botun izinlerine dair gerekli bilgilerin girildiği alan
Örnek vermek gerekir ise Robot.txt in içerisinde
User-agent: *
Disallow: \images\
Yukarıda gördüğünüz gibi Gogole botları bu robot dosyasına sahip sitenin images linkini asla indexlemeyecektir. Şimdilik bu kadar kısacık anlatttım Robot.txt oluşturmayı. Daha sonra detaylıca anlatırım.

Diğer Postları Getir

Tweet

Written by Ekşi Script

We are Creative Blogger Theme Wavers which provides user friendly, effective and easy to use themes. Each support has free and providing HD support screen casting.