Un día más llega un nuevo artículo a la web, en esta ocasión es un artículo muy cortito pero super útil. Prepárate porque hoy vas a aprender cómo modificar el Robots.txt desde Google Search Console.
En muchas ocasiones tendrás que bloquear algúna url o algún conjunto de urls de tu web. En ocasiones un plugin de wordpress puede estar generando errores de rastreo en Google Search Console al crear paginas o url temporales que no se deberían estar indexando en los buscadores. Para evitar estos errores tendrás que bloquear la indexación estas mismas urls.
Error de url en Google Search Console
La verdad es que todo se ve mejor con un ejemplo así que te contaré mi último problema y como lo solucioné. En mi caso, después de instalar el plugin de valoraciones WP-PostRatings comencé a recibir avisos en Google Search Console.
Al revisar el error me di cuenta que era la url de mis artículos pero se le agregaba una coletilla con el rating: https://www.tuanalistadigital.com/plantillas-power-point-presentar-datos-analiticos/post-ratings-522
Lógicamente al pulsar en el link para verificarlo no funcionaba ya que ese link no existe, es algo que crea el plugin. Después de revisar la configuración del plugin de wordpress no vi ninguna opción que pudiera arreglar esto así que me dispuse a arreglar el problema de raiz bloqueando la indexación de esas urls.
Veamos cómo editar el Robots.txt desde Google Search Console
Para evitar la indexación de las url lo que hice fue entrar a Google Search Console e ir a la sección de Rastreo/Probador de robots.txt/ e hice clic en el botón de enviar:
Al hacer esto se te abre un popup en donde puedes descargar el robots.txt actual a tu ordenador, modificar el archivo con un editor de txt y volver a subirlo.
En mi caso lo que hice fue agregar un disallow con una regular expresion que recogiera mi casuística.
User-agent: *
Disallow: /wp-admin/
Disallow: /*/post-ratings-*
Allow: /wp-admin/admin-ajax.php
Guardé el nuevo robots.txt en mi ordenador y lo subí al servidor a la ruta principal del dominio, que es en donde debe estar. Si quieres saber más sobre el código que admite el robots.txt puedes entrar a este link: The web Robots Pages
Bloquear una url con Robots.txt es fácil
Con esta simple modificación le estoy diciendo al robot de Google que cuando analice mi web no tenga en cuenta todas las urls que contienen la estructura de /*/post-ratings-*. Mucha gente realiza una instalación de algún plugin en wordpress para poder editar el Robots como el WP Robots Txt pero como acabas de descubrir en este artículo sobre Cómo modificar el Robots.txt se puede hacer sin plugins.
Este pequeño truquillo te ayudará a bloquear url rápidamente y a tener perfecta la indexación de tu web en Google Search Console. Si tienes alguna duda la puedes dejar en los comentarios del artículo y te contestaré lo antes posible.
Imagen de portada: Designed by Freepik.