Detectar (no clasificar) objetos en movimiento en imágenes de cielo ruidosas.

Estoy usando Python3 y OpenCV y quiero detectar y rastrear objetos arbitrarios en secuencias de imágenes (es decir, videos).

Digamos que tengo una secuencia de imágenes capturadas desde una cámara. La cámara está fija en algún lugar y apuntando al cielo. Para fines de discusión, digamos que estoy interesado en aves (en realidad estoy interesado en cualquier cosa que se mueva, ya sea un pájaro, un avión, un globo, una cometa, la pantufla de alguien, etc.). Cuando un objeto (o varios) vuela dentro del marco, quiero detectarlo (es decir, poner un cuadro delimitador alrededor) y rastrearlo.

Restricciones:

No quiero entrenar modelos en imágenes de todo lo que pueda encontrar en el cielo porque:

• Tardará mucho tiempo
• No tengo las imágenes conmigo hay un montón de tipos de objetos diferentes y no quiero hacer suposiciones sobre lo que podría aparecer en la imagen (¿qué pasa si alguien tira su pantufla? Todavía quiero detectarla y rastrearla)
• No quiero hacer ninguna suposición sobre la forma, tamaño (podría ser muy pequeño, dependiendo de la distancia), color, brillo o velocidad (es decir, a través de los cuadros), aeronaves, etc.
• Algunos objetos pueden pasar detrás, delante o a través de las nubes…

Enfoques intentados:

• Contorneado y umbralización: Esto funciona bien cuando el fondo es estático (es decir, sin nubes) o cuando hay pocas nubes (para que la umbralización las elimine). Sin embargo, cuando el fondo es ruidoso (es decir, con nubes, posiblemente con varias capas de nubes), el algoritmo de contorno detecta las nubes…
• Flujo óptico: Lento. No estoy seguro de cómo identificar la ‘anomalía’. No funcionará si el objeto está estacionario, como un dron o un globo.
• Diferencia de imagen: No funciona con las nubes porque se mueven y crean demasiado ruido.
• Sustracción de fondo: No eliminó las nubes cuando se movían rápidamente o cuando había múltiples capas de nubes. Además, no funcionará en casos en los que el objeto de interés está (o casi está) estacionario (por ejemplo, un dron).

Solo con fines ilustrativos, aquí hay una imagen de ejemplo con un montón de objetos, que podrían ser aves, aviones, bolsas de papel, el gato de alguien, etc .:

imagen de ejemplo