CMSnano Blog

SOSYAL MEDYA & TEKNOLOJİ & DİJİTAL & SEO

cmsnano blog
Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde bulunan bir dosyadır, arama motoru robot yazılımlarına sitenizin hangi bölümlerini taramak gerektiğini, hangilerini dizine ekleyebileceğini gösteren bir komut dosyasıdır.

Örümcek olarak da adlandırılabilen arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler. Bu dosyanın doğru bir şekilde hazırlanmış olması gerekmektedir, doğru komutlar kullanılarak hazırlanmamış bir Robots.txt dosyası arama motorları tarafından dikkate alınmaz ve taranmasını istemediğiniz dizinler de ayrıca taranabilir.

Bu dosya, her web sitesinde mutlaka olması gereken bir dosyadır, içerdiği komutlar doğru bir şekilde hazırlandıysa, arama motoru robotları bu kurallara uyar ve web sitenizi verdiğiniz komutlar doğrultusunda tarar. Bu işlem Robotları Engelleme Standardı (veya Robot Engelleme Protokolü) olarak adlandırılır.

Robots.txt dosyası hazırlanırken dikkat edilmesi gereken en önemli üç nokta şunlardır:
- Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması gerekir.
- Robots.txt dosyasının UTF-8 karakter kodlamasına uygun şekilde hazırlanmış olması gerekir.
- Robots.txt dosyasının site URL’siyle aynı formatta olması gerekir.

Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması bir gerekliliktir ve dosya oluşturulurken herhangi bir alt klasörde veya başka bir sayfada yer almaması gerekmektedir. Robots.txt dosyasının URL’si mutlaka standart olmalıdır; örneğin:

Doğru: http://www.cmsnano.com/robots.txt
Yanlış: http://www.cmsnano.com/main/robots.txt

Robots.txt dosyası dinamik ve değişken içeriğe sahip olabilir, dosyayı istediğiniz zaman istediğiniz şekilde değiştirebilir ve düzenleyebilirsiniz yalnız her zaman çalışır durumda olması ve gizlenmemesi gerekmektedir.

Ayrıca Robots.txt dosyasının sahip olduğu URL, sitenizin erişildiği URL ile aynı olmalıdır. Eğer https protokolü kullanıyorsanız, robots.txt dosyasının adresi de https protokolüne uygun olacak şekilde düzenlenmelidir. Örneğin;

Doğru:
Site URL’si: https://www.cmsnano.com/
Robots.txt URL’si: https://www.cmsnano.com/robots.txt

Yanlış:
Site URL’si: https://www.cmsnano.com/
Robots.txt URL’si: http://www.cmsnano.com/robots.txt

Robots.txt içerisinde standartlaşmış komutlar kullanılır. Bunlar Grup Komutları, Grup Dışı Komutlar ve Yorum ve Notlar olarak üç anma başlık altında toplanır.

Grup komutları
- Arama motoru robotu engelleme / izin verme
- Dizin engelleme / izin verme
- Sayfa engelleme / izin verme
- Tarama gecikmesi belirtme
Grup Dışı Komutlar
- Site haritası belirtme
Yorum ve Notlar
- Dosyaya eklediğiniz komutlar için yorum ve notlar yazma

Diğer Web Site Seçenekleri

Tek Sayfa

200 - 300 TL

  • *1 Sayfa
  • *Ücretsiz Alan Adı
  • *Cloud Sunucu
  • *Sayfa Tasarımı
  • *İçerik Girişi
İncele

Klasik Sayfa

1.000 - 2.500 TL

  • *1-10 Sayfa
  • *Ürün/Hizmet Sayfaları
  • *Ücretsiz Alan Adı
  • *Cloud Sunucu
  • *Kurumsal E-posta
  • *Sayfa Tasarımı
  • *İçerik Girişi
  • *Google Harita Kaydı
İncele

Özel Sayfa

Teklif İsteyin

  • *Standart Sayfalar
  • *Özel Tasarım Ek Sayfalar
  • *Ürün/Hizmet Listeleme
  • *Ürün/Hizmet Detayı
  • *Yabancı Dil
  • *Ücretsiz Alan Adı
  • *Cloud Sunucu
  • *Kurumsal E-posta
  • *İçerik Girişi
  • *Google İşletme Kaydı
  • *Seo Altyapısı
İncele

E-ticaret Sitesi

Teklif İsteyin

*Ücretsiz Alan Adı

*SSL Sertifikası

*Cloud Sunucu

*Sanal Pos/Ödeme Entegrasyonu

*Pazaryeri Entegrasyonu

*Tedarikçi Entegrasyonu

*Ürün Filtreleme

*Mobil Uyumlu

İncele
Canlı Destek
{{ c.message }}
{{ c.created_at|render_date }}

Temsilci yazıyor....

{{ offline_message }}

 web tasarım