es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: ROBOTS.TXT

Encuentra el mapa del sitio de newworldencyclopedia.org.

06 Aug, 2023 Programación

No tengo suerte encontrando el mapa del sitio de https://www.newworldencyclopedia.org. No está aquí: https://www.newworldencyclopedia.org/robots.txt He probado estos: – https://www.newworldencyclopedia.org/sitemap.xml – https://www.newworldencyclopedia.org/sitemap.txt – https://www.newworldencyclopedia.org/sitemap.php – https://www.newworldencyclopedia.org/sitemap.xml.gz – https://www.newworldencyclopedia.org/sitemap1.xml – https://www.newworldencyclopedia.org/sitemap_index.xml – https://www.newworldencyclopedia.org/sitemap-index.xml – https://www.newworldencyclopedia.org/sitemapindex.xml – https://www.newworldencyclopedia.org/rss.xml – https://www.newworldencyclopedia.org/sitemaps/ Buscar en Google site:newworldencyclopedia.org filetype:xml tampoco me da nada. ¿Alguna idea de dónde . . . Read more

Quiero prohibir algunas URL con el robots.txt.

15 Jul, 2023 Programación

Quiero bloquear algunas URL en el archivo robots.txt, pero realmente no sé cómo hacerlo. A continuación he mencionado la URL. ¿Cómo debo negar el acceso a la URL dinámica? Agradezco mucho si me ayudas a despejar estas dudas. https://falgunishanepeacock.in/order-inquire?sku=FSPI-20NOVUN03LH

Cómo impedir el acceso a varias carpetas en robots.txt

13 Jul, 2023 Programación

Quiero prohibir que los robots rastreen cualquier carpeta/subcarpeta. Quiero prohibir lo siguiente: http://example.com/staging/ http://example.com/test/ Y este es el código dentro de mi robots.txt: User-agent: * Disallow: /staging/ Disallow: /test/ ¿Es esto correcto? ¿Y funcionará?