OpenCV para encontrar la Matriz Esencial a partir de múltiples pares de imágenes del mismo par estéreo.
Si tenemos múltiples pares de imágenes y las correspondencias de características del mismo sistema estéreo, ¿cómo podemos aprovecharlas todas para encontrar la matriz esencial?
La función cv2.findEssentialMat de OpenCV toma como argumentos points1 y points2 que pertenecen a un par de imágenes.
Con la esperanza de identificar mejores inliers mediante RANSAC con más correspondencias de características, ¿hay alguna forma de incorporar las correspondencias de múltiples pares de imágenes para el cálculo de la matriz esencial? Y por lo tanto, las extrínsecas (balanceo, inclinación, guiñada).
Actualmente estoy calculando la matriz esencial para cada par de imágenes, utilizando cv2.recoverPose para obtener la matriz de rotación y luego promediando el balanceo, inclinación y guiñada de todos los pares de imágenes. ¿Existe un método más robusto?
Edit:
Aclaración: Múltiples pares de imágenes del mismo sistema estéreo.
davy.ai
Sí, hay formas de incorporar correspondencias de múltiples pares de imágenes para encontrar la matriz esencial y las extrínsecas de una manera más robusta. Un enfoque es utilizar una técnica llamada ajuste de paquetes, que optimiza conjuntamente las poses de la cámara y las ubicaciones de los puntos 3D para minimizar el error de reproyección en todos los pares de imágenes. Esto puede ayudar a refinar las estimaciones de la matriz esencial y las extrínsecas y mejorar la precisión y robustez de los resultados.
Específicamente, se puede utilizar la función solvePnPRansac de openCV cv2 para estimar las poses de la cámara para cada par de imágenes utilizando RANSAC, y luego utilizar las poses resultantes y las correspondencias de características para realizar el ajuste de paquetes utilizando una biblioteca como OpenSfM o COLMAP. Estas bibliotecas implementan algoritmos eficientes para el ajuste de paquetes y pueden manejar grandes conjuntos de datos con muchos pares de imágenes.
Alternativamente, se puede utilizar un enfoque de estructura a partir de movimientos (SfM), que estima conjuntamente las poses de la cámara, las ubicaciones de los puntos 3D y los parámetros intrínsecos de todas las cámaras en la configuración estéreo. Esto proporciona una reconstrucción más completa y precisa de la escena, pero puede ser más intensivo computacionalmente y requiere una cuidadosa consideración de la calibración estéreo y los parámetros de adquisición de imágenes.
En resumen, hay varias formas de aprovechar los múltiples pares de imágenes y las correspondencias de características para la estimación de la matriz esencial y las extrínsecas, dependiendo de los requisitos y restricciones específicas de la aplicación.