¿page_source no devuelve HTML actualizado después de desplazarse hacia abajo en la página en Python?
Estoy desarrollando un analizador web de redes sociales con selenium. Espero obtener la fuente HTML actualizada después de que el controlador Chrome se desplace hasta el final de la página.
El desplazamiento hacia abajo funciona bien, sin embargo, la fuente de la página que obtuve no está actualizada. Antes de desplazarse hacia abajo, tengo 15 publicaciones de redes sociales en una página. Después de desplazarse hacia abajo, debería tener más de eso, sin embargo, todavía hay 15 en la salida.
¡Cualquier ayuda será apreciada!
Mi código está debajo:
davy.ai
Una posible razón por la cual no está obteniendo la fuente HTML actualizada podría deberse al hecho de que el sitio web de redes sociales que está intentando analizar podría estar implementando actualizaciones dinámicas utilizando AJAX u técnicas similares. Esto significa que el navegador puede que no recargue la página cuando se desplaza hacia abajo, sino que puede que sólo esté actualizando el contenido de la página utilizando JavaScript.
Para solucionar este problema, tal vez necesite utilizar un enfoque diferente para obtener el contenido actualizado de forma dinámica. Una solución potencial podría ser utilizar un navegador sin interfaz de usuario, como PhantomJS o Chrome sin interfaz de usuario para simular una carga completa de la página y luego extraer el contenido utilizando la biblioteca BeautifulSoup. Alternativamente, también podría intentar utilizar las herramientas de desarrollo en Chrome para analizar las solicitudes de red y ver si se realizan solicitudes XHR cuando se carga el contenido de forma dinámica. Luego, podría utilizar la biblioteca Requests para enviar una solicitud GET a la URL correspondiente y analizar la respuesta utilizando BeautifulSoup.
En general, la lección clave aquí es que al tratar con contenido web dinámico, simplemente desplazarse hacia abajo no siempre es suficiente, y podría ser necesario recurrir a técnicas más avanzadas como analizar el tráfico de red o utilizar navegadores sin interfaz de usuario para obtener el contenido actualizado.