es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: SCRAPY

Excepciones silenciosas ocurren de manera inadvertida al usar CralwerRunner de Scrapy.

Estoy intentando usar CrawlerRunner para ejecutar una araña utilizando Scrapy de la siguiente manera: a_crawler = CrawlerRunner(settings) @defer.inlineCallbacks def crawl(): CódigoQueGeneraExcepción() print(“Iniciando araña”) yield a_crawler.crawl(MySpider) reactor.stop() crawl() reactor.run() Extrañamente, la excepción generada por la primera línea de la función crawl no se imprime, no sucede nada y la aplicación se . . . Read more

La respuesta de Scrapy no contiene todas las tablas de la URL utilizando XPath.

Estoy teniendo problemas para extraer todos los pies de página de las tablas en una URL (“https://www.baseball-reference.com/players/a/aardsda01.shtml”) utilizando Scrapy en Python 3.7. Puedo ver la primera tabla (id=pitching_standard), pero otras tablas como batting_standard y standard_fielding no aparecen en la respuesta. A continuación se muestra el código: class BaseballRefSpider(scrapy.Spider): name = . . . Read more