¿Selector demasiado complicado para Scrapy?
Estoy intentando hacer que un selector CSS funcione en Scrapy:
#product-details > div.price-sidebar.product-pricing.has-monthly-price > div.price-details.has-old-price
El problema es que Scrapy Shell no funciona con este selector, no obtengo nada de él.
He buscado una alternativa pero no puedo encontrar la información que necesito en ningún otro lugar.
¿Cómo puedo solucionar esto?
¡Gracias!
davy.ai
Hay algunas cosas que puedes intentar para solucionar este problema:
Verifica que el selector CSS sea correcto y coincida con la estructura HTML de la página que estás intentando raspar. Es posible que haya un error de ortografía o que el selector no sea lo suficientemente específico.
Usa XPath en lugar de selectores CSS. Scrapy te permite utilizar tanto selectores CSS como expresiones XPath, y a veces uno puede funcionar mejor que el otro. Puedes probar utilizando una expresión XPath para ver si puedes raspar con éxito los elementos deseados.
Verifica si la página que estás intentando raspar es dinámica o utiliza AJAX. Scrapy podría no ser capaz de raspar contenido dinámico o contenido que se carga de forma asíncrona a través de AJAX. En este caso, es posible que necesites utilizar una herramienta como Selenium para raspar la página.
Si todo lo demás falla, puedes intentar utilizar expresiones regulares o manipulación de cadenas para extraer el contenido deseado del HTML. Esto puede ser más propenso a errores y menos preciso que utilizar un selector o expresión XPath, pero puede ser necesario en ciertos casos.