es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

  • es.davy.ai/
  • Programación /
  • Coincidencia basada en patrones en el archivo robots.txt utilizando resultados impulsados por datos.

Coincidencia basada en patrones en el archivo robots.txt utilizando resultados impulsados por datos.

27 Jul, 2023 Programación

¿Existe alguna manera de crear una regla basada en patrones en el archivo robots.txt para que los motores de búsqueda puedan indexar?

  • Nueva York 100
  • Nueva York 101
  • Nueva York 102
  • …
  • Atlanta 100
  • Atlanta 101
  • Atlanta 102
  • …

Nuestro sitio web tiene millones de registros que nos gustaría que los motores de búsqueda indexaran.

La indexación debería basarse en resultados impulsados por datos, siguiendo un patrón simple: Ciudad + Número de Lote.

La página web cargada muestra el lote de la ciudad y la información relacionada.

Desafortunadamente, hay demasiados registros para simplemente colocarlos en el archivo robots.txt (más de 21 MB), donde Google tiene un límite de archivo robots de 500 KB.

Tags:  , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Sí, es posible crear reglas basadas en patrones en el archivo robots.txt para que los buscadores indexen. En este caso, una posible solución sería utilizar comodines para indicar el patrón:

    User-agent: *
Disallow:

User-agent: *
Allow: /Nueva%20York/*
Allow: /Atlanta/*

    Este archivo robots.txt permite que todos los robots rastreen el sitio web, pero solo permite la indexación de URL que coincidan con el patrón Ciudad/NúmeroDeLote, donde Ciudad puede ser tanto Nueva York como Atlanta. El símbolo %20 se utiliza para indicar el espacio en los URL.

    Es importante tener en cuenta que es necesario probar el archivo robots.txt para asegurarse de que funcione como se espera y de que los motores de búsqueda estén indexando las páginas deseadas. Además, se recomienda utilizar otras técnicas, como mapas del sitio y marcado de datos estructurados, para mejorar la indexación y el SEO en sitios web grandes con estructuras de URL complejas.

Comments are closed.