Test robots.txt error 500

Prueba de indexacion de paginas cuando el archivo robots,txt da un error 500

Sobre este tema planteado y el test

28/10/2022 - Esto surgió de una publicación en Linkedin de Luis Narciso que puede verse a la derecha (o abajo si está en el móvil 😋 📱)

Sobre este tema Dante Llanos Dávila planteo qué pasaba si le generaban backlinks, si no era indexado. Esta prueba consiste en confirmar que al estar enlazada una página sea o no indexada por más que el robots.txt de error 500.

Para esto he creado ste sitio (use una plantilla, disculpen si no es un diseño personalizado 😬) en donde colocaré varias paginas:

  • La pagina actual, el index, que no tendra enlace externo.
  • Página 1 - página enlazada desde el index que tampoco tendrá enlace externo.
  • Pagina 2 - pagina huérfana, que no tendrá enlace externo ni interno.
  • Página 3 - página que es la será enlazada externamente, no tendrá enlaces desde la home y si enlazara a la Página 4.
  • Página 4 - pagina que no tendrá enlace externo pero si uno interno como decía antes desde Página 3

Se buscará ver si la página con enlace externo indexa, pero tambien si continua con la indexación de la enlazada internamente.
También si indexa alguna otra pagina como en index y la que esta elzada desde este, y la página huérfana sin ningún enlace.

Actualizaciones de estado:

09/11/2022 - Después de 12 días aún no han sido indexadas ninguna de las páginas. Originalmente se optó por no poner las meta etiquetas robots ni canónica, tampoco se hay sitemap, ni se agrego Analytics ni se dio de alta en Google Search Console.
Hoy se procederá a darlo de alta en GSC y agregar Analytics.
No se colocarán aún las metaetiquetas robots y canonical, ni se creará un sitemap.

15/11/2022 - Hoy hace 6 días que se dio de alta en GSC y se le agregó Analytic y continúan sin ser indexada ninguna de ellas. Hoy se colocaron metaetiquetas robots (Index,Follow) y canonical, También se creó un sitemap. Pero aunque se procedío con esto, la conclusión anticipada parece ser que ni Google, ni ninguno de los buscadores como Bing, Yahoo, Yandex, van a indexar estas páginas si es que el archivo robots.txt da error 5xx, por más que tengan todas las demás condiciones para ser indexadas.

Sobre mi

Visita mi perfil en Linkedin: Claudio Benedetti, nos vemos ahí 👍

Esta es la Página 1 enlazada desde el Home

¡Ir ahí!