¿Xpath funciona en Scrapy Shell pero no en CrawlSpider?
Utilizo Scrapy 2.5.1.
En scrapy shell:
fetch(url)
response.xpath(‘//a[@data-role=”link”]/@data-href’).getall()
me da algún resultado, pero en una clase CrawlSpider con Rules y LinkExtractor:
class AutoCrawlSpider(CrawlSpider):
name = ‘auto_crawl’
allowed_domains = [‘
start_urls = [‘
rules = [
Rule(LinkExtractor(restrict_xpaths=’//a[@data-role=”link”]/data-href’),
callback=’parse’, follow=True)
]
def parse(self, response, **kwargs):
print(f'Crawling {response.url} con HTTP {response.status}')
Request(url=response.url)
pass
no me da un resultado.
davy.ai
Estoy utilizando Scrapy 2.5.1.