¿Sabían que si Google tiene algún problema para acceder al archivo robots.txt de un sitio, puede decidir no indexar nada de ese sitio? Esto es lo que dice Erick Kuan en el foro de Google.
Si Google tiene problemas para acceder al archivo robots.txt, detendrá la indexación del resto del sitio para prevenir el acceso a páginas que probablemente hayan sido blockeadas en dicho archivo.
Una cosa es no tener un archivo robots.txt, lo cual es totalmente válido. Si no lo tienes, no hay de que preocuparse. Pero si lo tienes y por algún motivo Google no puede entrar al mismo, estás en problemas.
ESCRIBE
Emiliano Elías
SOCIO FUNDADOR & HEAD OF SEO · ADBOT
Co-fundador y Head of SEO en ADBOT desde 2011. Empezó en 2001 en DeRemate.com, coordinó el área de SEO de Digital Ventures —después FOX— desde cero con más de 120 clientes, y fue Online Marketing Manager de los canales de FOX para Latinoamérica. También fue docente de SEO en DotZero entre 2010 y 2017.