Error ‘module’ object is not callable al usar webdriver en Google Collab para hacer web scraping de un sitio web.
He estado intentando hacer web scraping de reseñas de hoteles, pero al cambiar de página múltiples veces, la URL de la página web no cambia. Así que estoy utilizando webdriver de selenium para resolver esto. Pero no puedo usarlo en Google Colab en primer lugar. Cualquier ayuda rápida será muy apreciada. ¡Gracias!
Código:
from selenium import webdriver
import requests
from bs4 import BeautifulSoup
import pandas as pd
# instalar chromium, su controlador, y selenium
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium
# establecer opciones para ser sin cabeza, ..
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
# ábrelo, ve a un sitio web, y obtén resultados
wd = webdriver.Chrome('chromedriver',options=options)
driver = webdriver.chrome()
driver.get("https://www.goibibo.com/hotels/highland-park-hotel-in-trivandrum-1383427384655815037/?hquery={%22ci%22:%2220211209%22,%22co%22:%2220211210%22,%22r%22:%221-2-0%22,%22ibp%22:%22v15%22}&hmd=766931490eb7863d2f38f56c6185a1308de782c89dfeeea59d262b827ca15441bf50472cbfdc1ee84aeed8af756809a2e89cfd6eaea0fa308c1ca839e8c313d016ac0f5948658353cf30f1cd83050fd8e6adb2e55f2a5470cadeb0c28b7becc92ac44d81966b82408effde826d40fbff47525e09b5f145e321fe6d104e12933c066323798e33a911e0cbed7312fc1634f8f92fe502c8602556c9a02f34c047d04ff1400c995799156776c1a04e218d6486493edad5b0f7e51a5ea25f5f1cb4f5ed497ee9368137f6ec73b3b1166ee7c1a885920b90c98542e0270b4fa9004005cfe87a4d1efeaedc8e33a848f73345f09bec19153e8bf625cc7f9216e692a1bcc313e7f13a7fc091328b1fb43598bd236994fdc988ab35e70cf3a5d1856c0b0fa9794b23a1a958a5937ac6d258d121a75b7ce9fc70b9a820af43a8e9a3f279be65b5c6fbfff2ba20bfb0f3e3ee425f0b930bf671c50878a540c6a9003b197622b6ab22ae39e07b5174cb12bebbcd2a132bb8570e01b9e253c1bd83cb292de97a&cc=IN&reviewType=gi&vcid=3877384277955108166&srpFilters={%22type%22:[%22Hotel%22]}")
Error:
davy.ai
Parece que se produjo un error porque utilizó el método incorrecto para instanciar el objeto webdriver. En lugar de ‘webdriver.chrome()’, debería utilizar ‘webdriver.Chrome()’.
Reemplace la siguiente línea:
driver = webdriver.chrome()
con:
driver = webdriver.Chrome()
Esto debería resolver el error y permitirle utilizar el objeto webdriver para raspar las páginas de revisión del hotel.
Además, asegúrese de que la versión del controlador de Chrome que ha instalado coincida con la versión de su navegador Chrome. De lo contrario, es posible que se encuentre con problemas de compatibilidad de versiones.