#105 - El fichero robots.txt

Revisamos el fichero robots.txt, una forma muy sencilla de mejorar tu SEO y que muchos profesionales aun confunden como una medida de seguridad ¡Descubre todos sus secretos!

Actualidad Joomla

Nueva extensión para SEO: 4SEO

Hace unos episodios os contaba que había podido probar una nueva extensión SEO para Joomla que me sorprendió mucho, no sólo por lo bien pensada que estaba con respecto a la gestión del SEO de nuestros sitios, sino también por la calidad de su código y en general la limpieza de su desarrollo. Pues bien, finalmente ya está disponible la versión beta y espero que puedas echarle un vistazo porque merece mucho la pena:

Enlace a la extensión 4SEO

Publicada la edición de Mayo de la Joomla! magazine

Ya está disponible la edición de mayo la Joomla Magazine. En esta ocasión hay varios artículos interesantes de los que ya hemos hablado en el podcast como el de campos personalizados o Visual Studio Code

¡Estáte al día de la actualidad Joomla suscribiéndote a la newsletter de ManualesJoomla.es!

El fichero robots.txt

¿Qué es el fichero robots.txt?

Es un fichero que le indica a los buscadores qué partes de nuestro sitio web deben visitar y cuáles tienen que ignorar.

En definitiva, es una herramienta SEO para racionar mejor nuestro presupuesto de rastreo.

¿Qué NO es el fichero robots.txt?

En ningún caso el fichero robots.txt es un sistema de seguridad para impedir que los buscadores indexen partes de nuestro sitio o para que usuarios no identificados puedan acceder a él.

Es más, si en los factores de indexación que tiene un buscador, ve que tiene que indexar un enlace que aparece en el robots.txt, no hará caso de nuestras indicaciones y lo indexará de todos modos.

Usos comunes del fichero robots.txt

• Desanimar a los buscadores a indexar URLs de nuestro sitio que no nos interesan porque nos roban tiempo de rastreo
• Evitar que los buscadores lleguen a contenido duplicado
• Mostrar a los buscadores dónde está el Sitemap de nuestra web.
• Evitar que los buscadores entren a ciertas zonas (subdirectorios) de nuestra web

¿Cómo hacemos el robot.txt en Joomla?

El fichero robots.txt es un fichero de texto y podemos usar cualquier editor de textos en nuestro ordenador para generarlo.

Joomla! se distribuye con un fichero de muestra llamado robots.txt.dist que podemos usar simplemente renombrándolo a robots.txt.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

La sintaxis del fichero robots.txt es muy sencilla y tenemos varias palabras clave o comandos que podemos usar:

User-agent:

Allow:

Disallow:

Sitemap:

Y después de ellos pondremos la ruta de la url que queremos añadir.

Podemos usar comodines como * para indicar cualquiera.

Cómo comprobar que el fichero robots.txt es correcto

Para comprobar que el fichero robots.txt no tiene fallos podemos usar el comprobador del fichero que está incluido en las herrramientas de Google Search Console:

https://www.google.com/webmasters/tools/robots-testing-tool

En esta herramienta, además de comprobar que el contenido del fichero robots.txt no tiene errores sintácticos, podemos probar urls de nuestro sitio y ver si las urls son o no accesibles en función de estas reglas.

Extensiones Joomla para editar el fichero robots.txt

Si bien podemos editar fácilmente el fichero robots.txt con nuestro editor de texto favorito (¡incluso Visual Code!) y acceso por FTP al sitio, no podemos negar que siempre es más cómodo contar con herramientas específicas que nos ayuden. Aquí os dejo algunas extensiones que os pueden ayudar a editar el fichero:

• 4SEO
  De momento no tiene comprobador de sintaxis ni de urlsDesde el día de publicación de este episodio ya tiene comprobación de URLs
• Aimy Sitemap (free y pro)
  Sólo tiene comprobador en la versión Pro
• JRedirects
  No tiene comprobador de sintaxis ni de urls
• JSitemap Pro
  No tiene comprobador de sintaxis ni de urls

También puedes escuchar el episodio sobre robots.txt que hicimos para el podcast de PrestaRadio.

¿Conocías el fichero robots.txt? ¿Cómo lo haces tú? Cuéntanoslo aquí abajo en los comentarios.

• Anterior
• Siguiente