¿Qué es el archivo Robots.txt?
El archivo Robots.txt es un archivo público de texto con extensión .txt, que creamos y subimos a nuestro sitio web con el claro objetivo de indicar a los rastreadores de los buscadores o arañas qué contenido o partes de nuestra página web no deseamos que indexen ni muestren en sus resultados.
Este archivo debe situarse en la raíz de los sitios web y no en un subdirectorio. Por ejemplo, si tu sitio web es mipaginaweb.com, debe estar en www.mipaginaweb.com/robots.txt.
¿Para qué sirve el archivo Robots.txt?
Como hemos indicado anteriormente, el archivo Robots.txt se utiliza sobre todo para gestionar el tráfico de rastreo, y gracias a ello podremos conseguir:
- Que los rastreadores de los buscadores no sobrecarguen el servidor de nuestra web.
- Evitar que Google y otros buscadores muestren resultados de nuestra página que no deseamos mostrar en las SERP.
¿Cómo se crea un archivo Robots.txt?
Podemos encontrar amplia información en Internet sobre este tema. Proponemos dos opciones:
- Existen ciertos CMS o Sistemas de Gestión de Contenidos que generan el archivo Robots.txt automáticamente, aunque es fundamental programarlo adecuadamente ya que puede suceder que accidentalmente se incluyan partes que sí deberían ser rastreadas como no indexables.
- Con Website Auditor de SEO Power Suite, podemos crear nuestros archivos Robots.txt sin ningún tipo de problema a través de un asistente en cuestión de segundos.
Si quieres saber saber más sobre el archivo Robots,txt, pincha aquí.