robots.txt para seo
El fichero robots.txt es un fichero que situaremos en la raíz de nuestro sitio web, y sirve para indicar a los diferentes buscadores (robots web o arañas), qué ficheros deben o no deben de rastrear para tenerlos indexados.
Si no tenemos este fichero, pues nos creamos un fichero de texto en la raíz de nuestra web con el nombre robots.txt y escribimos las siguientes líneas:
User-agent: *
Disallow:
Con estas sencillas líneas indicamos que todos los robots
Si por el contrario queremos configurar el fichero para evitar que los robots rastreen alguna carpeta o fichero, por ejemplo si tenemos la carpeta administrador que no queremos que sea rastreada, simplemente escribiremos lo siguiente en nuestro archivo robots.txt
User-agent: *
Disallow:/administrador/
Escribiremos una nueva linea por cada carpeta o archivo que queramos indicar que no sea rastreado por los buscadores.
Ejemplo
Hay que tener en cuenta que los robots diferencian entre mayúsculas y minúsculas por lo tanto tenemos que escribir el nombre de la carpeta con el nombre exacto.
Otra caracteristica importante a tener en cuenta es que en el fichero de robots.txt podemos indicar donde tenemos ubicado el archivo sitemap.xml, esto es bastante útil así que recomendamos ponerlo. Veamos un ejemplo
* Como nota personal esta optimización seo supondrá el 1% de la optimización seo total
