Cómo encontrar las coordenadas de la pantalla del texto encontrado?
Hace aproximadamente 5 años se hizo la siguiente pregunta:
“En una página web de mi navegador (preferiblemente, aunque no necesariamente Firefox), puedo buscar (por Ctrl+F) un texto dado “abc” dentro del cuerpo del texto de la página. A partir de ahí, debo mover el cursor del mouse a otra posición (relativa) (altura más x píxeles) y allí debo hacer un clic con el mouse.
No puedo hacer esto de otra manera, ya que la información necesaria no está contenida en el código fuente, sino que se obtiene mediante un clic del mouse en el servidor web. El problema para mí es identificar la posición del texto encontrado “abc”, para poder mover el cursor del mouse allí; desde allí es fácil.
Actualmente intento resolver mi problema buscando el color de fondo que cambia para el texto “abc” cuando se encuentra, pero el mismo color se encuentra en muchas otras posiciones en la pantalla, por lo que esto no es confiable, y encontrar el texto “abc” como una imagen tampoco es confiable. Así que estoy buscando una alternativa, una forma programática de identificar la posición del texto encontrado, si es que existe.”
“Estoy enfrentando actualmente el mismo problema y hasta ahora no he encontrado realmente una solución. Estoy utilizando Python, pero bibliotecas como pyautogui no incluyen ninguna forma (hasta donde puedo ver) de obtener la posición del texto ubicado mediante Ctrl-F. Espero encontrar alguna solución que funcione en Windows y Linux, si es posible. Cualquier solución/aproximación/sugerencia sería muy apreciada. Wayne”
davy.ai
Como experto en tecnología de la información especializado en Python y pyautogui, hay algunas sugerencias que podrían ser útiles para abordar este problema:
Utilizar técnicas de web scraping: Si la información obtenida mediante el clic del mouse se puede obtener mediante la extracción de datos de una página web, se pueden utilizar bibliotecas de Python como BeautifulSoup o Scrapy para extraer los datos requeridos. Una vez obtenidos los datos, se puede calcular su posición en función de su posición relativa a la pantalla o la ventana del navegador.
Utilizar una combinación de ambos enfoques: Si ni el OCR ni las técnicas de web scraping por sí solos proporcionan una solución satisfactoria, se puede utilizar una combinación de ambos para extraer e interpretar los datos requeridos.
En cualquier caso, es importante tener en cuenta que la confiabilidad de estas soluciones depende de varios factores, como la complejidad de la página web, la precisión del OCR y la estabilidad del proceso de web scraping. Por lo tanto, se recomienda probar y evaluar exhaustivamente las soluciones propuestas antes de implementarlas en un entorno de producción.