Robots.txt, web sitenizin kök dizininde bulunan bir dosyadır, arama motoru robot yazılımlarına sitenizin hangi bölümlerini taramak gerektiğini, hangilerini dizine ekleyebileceğini gösteren bir komut dosyasıdır.

Örümcek olarak da adlandırılabilen arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler. Bu dosyanın doğru bir şekilde hazırlanmış olması gerekmektedir, doğru komutlar kullanılarak hazırlanmamış bir Robots.txt dosyası arama motorları tarafından dikkate alınmaz ve taranmasını istemediğiniz dizinler de ayrıca taranabilir.

Bu dosya, her web sitesinde mutlaka olması gereken bir dosyadır, içerdiği komutlar doğru bir şekilde hazırlandıysa, arama motoru robotları bu kurallara uyar ve web sitenizi verdiğiniz komutlar doğrultusunda tarar. Bu işlem Robotları Engelleme Standardı (veya Robot Engelleme Protokolü) olarak adlandırılır.

Robots.txt dosyası hazırlanırken dikkat edilmesi gereken en önemli üç nokta şunlardır:
- Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması gerekir.
- Robots.txt dosyasının UTF-8 karakter kodlamasına uygun şekilde hazırlanmış olması gerekir.
- Robots.txt dosyasının site URL’siyle aynı formatta olması gerekir.

Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması bir gerekliliktir ve dosya oluşturulurken herhangi bir alt klasörde veya başka bir sayfada yer almaması gerekmektedir. Robots.txt dosyasının URL’si mutlaka standart olmalıdır; örneğin:

Doğru: http://www.cmsnano.com/robots.txt
Yanlış: http://www.cmsnano.com/main/robots.txt

Robots.txt dosyası dinamik ve değişken içeriğe sahip olabilir, dosyayı istediğiniz zaman istediğiniz şekilde değiştirebilir ve düzenleyebilirsiniz yalnız her zaman çalışır durumda olması ve gizlenmemesi gerekmektedir.

Ayrıca Robots.txt dosyasının sahip olduğu URL, sitenizin erişildiği URL ile aynı olmalıdır. Eğer https protokolü kullanıyorsanız, robots.txt dosyasının adresi de https protokolüne uygun olacak şekilde düzenlenmelidir. Örneğin;

Doğru:
Site URL’si: https://www.cmsnano.com/
Robots.txt URL’si: https://www.cmsnano.com/robots.txt

Yanlış:
Site URL’si: https://www.cmsnano.com/
Robots.txt URL’si: http://www.cmsnano.com/robots.txt

Robots.txt içerisinde standartlaşmış komutlar kullanılır. Bunlar Grup Komutları, Grup Dışı Komutlar ve Yorum ve Notlar olarak üç anma başlık altında toplanır.

Grup komutları
- Arama motoru robotu engelleme / izin verme
- Dizin engelleme / izin verme
- Sayfa engelleme / izin verme
- Tarama gecikmesi belirtme
Grup Dışı Komutlar
- Site haritası belirtme
Yorum ve Notlar
- Dosyaya eklediğiniz komutlar için yorum ve notlar yazma