Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy tratando de encontrar alguna manera de escribir los primeros dos campos en un archivo CSV y usar los últimos dos campos para descargar imágenes en una carpeta al mismo tiempo. He creado dos ductos personalizados para lograr eso. Este es el spider: import scrapy class PagalWorldSpider(scrapy.Spider): name = ‘pagalworld’ . . . Read more
Cuando hago una solicitud de scrapy sin formatear el cuerpo, obtengo los resultados correctos, sin embargo, cuando lo formateo para hacer un bucle, obtengo un error 400. Este es el cuerpo que no está formateado: '{"fields":"id,angellist_url,job_roles","limit":25,"offset":0,"form_data":{"must":{"filters":{"founding_or_hq_slug_locations":{"values":["spain"],"execution":"or"}},"execution":"and"},"should":{"filters":{}},"must_not":{"growth_stages":["mature"],"company_type":["service provider","government nonprofit"],"tags":["outside tech"],"company_status":["closed"]}},"keyword":null,"sort":"-last_funding_date"}' Este es el cuerpo formateado: '{"fields":"id,angellist_url,job_roles","limit":25,"offset":{offset_items},"form_data":{"must":{"filters":{"founding_or_hq_slug_locations":{"values":["spain"],"execution":"or"}},"execution":"and"},"should":{"filters":{}},"must_not":{"growth_stages":["mature"],"company_type":["service provider","government nonprofit"],"tags":["outside tech"],"company_status":["closed"]}},"keyword":null,"sort":"-last_funding_date"}' Luego, al . . . Read more
Acabo de encontrar un problema con el pipeline de imágenes de Scrapy. La situación es que solo quiero descargar algunas imágenes con el pipeline de imágenes de Scrapy para realizar pruebas, pero después de componer el código, me encontré con un error al ejecutar el script. Mensaje de error: 2021-12-31 . . . Read more
Amablemente tenga en cuenta que soy nuevo en programación. Estos son los problemas que encontré al aprender web scraping utilizando python. El sitio web que utilicé fue https://www.mobikwik.com/ (un sitio de recarga en línea y pago de facturas de móviles, DTH, electricidad). Pero lo único que obtengo es una respuesta . . . Read more
Estoy siguiendo el video de YouTube https://youtu.be/s4jtkzHhLzY y he llegado a los 13:45, cuando el creador ejecuta su spider. He seguido el tutorial al pie de la letra, pero mi código se niega a ejecutarse. Este es mi código actual. También importé scrapy. ¿Alguien puede ayudarme a descubrir por qué . . . Read more