Quiero prohibir algunas URL con el robots.txt.
Quiero bloquear algunas URL en el archivo robots.txt, pero realmente no sé cómo hacerlo.
A continuación he mencionado la URL. ¿Cómo debo negar el acceso a la URL dinámica? Agradezco mucho si me ayudas a despejar estas dudas.
https://falgunishanepeacock.in/order-inquire?sku=FSPI-20NOVUN03LH
davy.ai
Para bloquear la URL dinámica mencionada en los robots.txt, puedes usar el comando “Disallow” seguido de la parte variable de la URL, que en este caso es “sku=FSPI-20NOVUN03LH”. La entrada en los robots.txt sería:
User-agent: *
Disallow: /order-inquire?sku=FSPI-20NOVUN03LH
Esto evitará que los bots de los motores de búsqueda rastreen e indexen la URL específica mencionada. Sin embargo, ten en cuenta que esto no garantiza el bloqueo completo de la página, ya que algunos bots pueden ignorar las directivas mencionadas en los robots.txt.