Como bloquear la indexación completa de un sitio web con Robots.txt

Queridos lectores podría parecer una locura el titulo de este articulo, sin embargo pueden existir muchas razones por las que necesitas bloquear la indexación completa de un sitio web, esto es que no ingrese a la base de datos de Google.

Entre las razones que pueden haber son:

• El sitio se encuentra en desarrollo.
• El sitio es un sitio web de pruebas en otro dominio o subdomiminio que no será el definitivo.
• El sitio es de contenido privado y no tienes interés que aparezcas en los resultados de búsqueda.

Si este es tu caso quiero compartir contigo una solución muy  sencilla para hacerlo.

Debes construir un archivo llamado Robots.txt que puedes hacerlo en un editor de texto como el bloc de notas.

Si trabajas en Blogger, para editar este archivo debes ingresar a: Configuración, Preferencia para motores de búsqueda y habilitar la edición del archivo Robots.txt.

En cualquiera de los 2 casos lo que debes de hacer es escribir el siguiente código:

User-agent: *

Disallow: /

Si es para blogger, solo cambias el texto existente por este y lo grabas.

Si lo estas haciendo en un bloc de notas para cualquier otro tipo de sitio web escribes el código y lo grabas, el nombre del archivo debe ser robots.txt .Luego subes este archivo a la raíz de tal forma que debe estar ubicado de esta manera: www.misitio.com/robots.txt

Hecho esto lo recomendable es enviar tu archivo a la herramienta Search Console de Google para que se agilite el proceso esto lo haces así:

1. Ingresas a la herramienta para probar el robots.txt 
2. Escoge la propiedad que tienes certificada en Search Console, osea tu dominio web.
3. Luego se abrirá una pantalla y te mostrará como está construido tu Robots.txt actualmente, verifica que sea igual al código que hemos escrito arriba.
4. Luego da clic en el botón Probar y luego en Enviar.

Y listo de esa manera estarás seguro que tu sitio no se indexará por Google, esta función  es reversible volviendo a editar el archivo Robots.txt cuando lo necesites.

¡Nos vemos pronto! 

Por Marcel Pazos