es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

¿Xpath funciona en Scrapy Shell pero no en CrawlSpider?

Utilizo Scrapy 2.5.1.

En scrapy shell:

fetch(url)
response.xpath(‘//a[@data-role=”link”]/@data-href’).getall()

me da algún resultado, pero en una clase CrawlSpider con Rules y LinkExtractor:

class AutoCrawlSpider(CrawlSpider):
name = ‘auto_crawl’
allowed_domains = [‘‘]
start_urls = [‘‘]
rules = [
Rule(LinkExtractor(restrict_xpaths=’//a[@data-role=”link”]/data-href’),
callback=’parse’, follow=True)
]

def parse(self, response, **kwargs):
    print(f'Crawling {response.url} con HTTP {response.status}')
    Request(url=response.url)
    pass

no me da un resultado.

Tags:  ,

Answer

Comments are closed.