es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

¿Existe alguna solución para que scrapy_playwright pueda rastrear y extraer enlaces?

13 Jul, 2023 Programación

Quiero rastrear una lista de enlaces en un sitio web y cada enlace necesita ser seleccionado para obtener una nueva página, luego extraer la nueva página. Ya he escrito algo de código con scrapy-playwright, pero solo selecciona y extrae el primer enlace. Sé que es mucho mejor extraer todos los “href” primero y luego solicitar los enlaces, pero a veces tengo acceso a otras páginas donde no hay “href” disponibles en <>, necesitamos hacer clic para que los datos salgan, ¿hay alguna manera de automatizar el rastreo y extracción de datos en una ventana emergente?

Aquí está la página web:

Aquí está mi código:

import scrapy
from scrapy_playwright.page import PageCoroutine
import scrapy_playwright

class PwspiderSpider(scrapy.Spider):
    name = 'demo'

    def start_requests(self):
        yield scrapy.Request(url="https://boston.craigslist.org/search/npo",
                             meta=dict(playwright=True,
                                       playwright_include_page=True,
                                       playwright_page_coroutines={
                                           PageCoroutine("click", selector="h3.result-heading"),
                                           PageCoroutine("evaluate", "window.scrollBy(0, document.body.scrollHeight)")
                                        },
                             ),
        )

    def parse(self, response):
        yield{
            'body': response.css("section#postingbody::text").extract()
        }

(Note: Code and output not translated)

Tags:  , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Para rastrear una lista de enlaces en un sitio web y extraer la página nueva de cada enlace utilizando scrapy-playwright, se pueden seguir los siguientes pasos:

    1. Extraer todos los enlaces href de la página principal y almacenarlos en una lista.
    2. Recorrer cada enlace href y abrirlo utilizando el método playwright.page.goto().
    3. Extraer los datos requeridos de la nueva página utilizando los métodos playwright.page.content() o playwright.page.inner_html().
    4. Almacenar los datos extraídos en un diccionario o scrapy.item y devolverlo en el método parse.

    Para automatizar el rastreo y extracción de datos de ventanas emergentes, se pueden seguir los siguientes pasos:

    1. Hacer clic en el elemento que abre la ventana emergente utilizando el método playwright.page.click().
    2. Utilizar el método playwright.page.wait_for_selector() para esperar a que se cargue la ventana emergente.
    3. Extraer los datos requeridos de la ventana emergente utilizando los métodos playwright.page.content() o playwright.page.inner_html().
    4. Cerrar la ventana emergente utilizando el método playwright.page.click() o playwright.page.keyboard.press().

    Aquí hay una versión modificada del código proporcionado en la pregunta para incluir los pasos anteriores:

    import scrapy
from scrapy_playwright.page import PageCoroutine
import scrapy_playwright

class PwspiderSpider(scrapy.Spider):
    name = 'demoo'

    def start_requests(self):
        yield scrapy.Request(url="https://boston.craigslist.org/search/npo",
                             meta=dict(playwright=True,
                                       playwright_include_page=True,
                                       playwright_page_coroutines={
                                           PageCoroutine("evaluate", "window.scrollTo(0, document.body.scrollHeight)"),
                                           PageCoroutine("evaluate", "Array.from(document.querySelectorAll('h3.result-heading a')).map(a => a.href)")
                                       },
                             ),
                             callback=self.parse_links)

    def parse_links(self, response):
        link_list = response.playwright["results"][1] # obtener la lista de enlaces href
        for link in link_list:
            yield scrapy.Request(url=link,
                                 meta=dict(playwright=True,
                                           playwright_include_page=True,
                                           playwright_page_coroutines={
                                               PageCoroutine("click", "button.reply-button"),
                                               PageCoroutine("waitForSelector", "div.reply-tel-number button.reply-tel-number.js-only"),
                                               PageCoroutine("evaluate", "document.querySelector('body').innerHTML")
                                           }
                                 ),
                                 callback=self.parse_data)

    def parse_data(self, response):
        yield {
            'body': response.playwright["results"][2] # obtener el contenido HTML de la ventana emergente
        }

    ¡Espero que esto ayude!

Comments are closed.