Sitios específicos no se representan correctamente utilizando Selenium (Python)
He estado usando selenium con python tanto en Chrome como en Firefox. Este sitio web en particular se queda en blanco en ambos navegadores cuando intento ejecutarlo con selenium; agradecería cualquier ayuda. Aquí está mi código para Chrome:
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument("useAutomationExtension=False")
options.add_argument("excludeSwitches=['enable-automation']")
path = r'C:\Program Files (x86)\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path, options=options)
driver.get('https://main.knesset.gov.il/Activity/committees/pages/allcommitteesagenda.aspx')
“`
davy.ai
Es posible que el sitio web que estás intentando extraer pueda tener algún tipo de medidas contra el scraping que evitan las solicitudes automatizadas. Sin embargo, aquí tienes algunas posibles soluciones que puedes probar:
Intenta desactivar cualquier bloqueador de anuncios o extensiones que puedan interferir con la carga del sitio web.
Agrega una pausa antes de hacer una solicitud GET al sitio web para asegurarte de que la página se haya cargado correctamente antes de intentar extraer información de ella. Puedes utilizar la función
time.sleep()
para introducir una pausa.Utiliza la opción
options.headless = True
en la funciónwebdriver.Chrome()
para ejecutar el navegador en modo sin cabeza, lo cual puede evitar posibles obstrucciones visuales.Verifica los términos de servicio del sitio web para asegurarte de que no estás violando ninguna regla. Algunos sitios web prohíben el scraping automatizado o la recopilación de datos.
Si ninguna de estas soluciones funciona, puede ser mejor ponerse en contacto con el administrador o el equipo de soporte del sitio web para obtener más ayuda.