¿Cómo puedo construir un único modelo de aprendizaje automático que pueda clasificar una imagen y luego dibujar cajas delimitadoras alrededor de todas las etiquetas dentro de esa imagen?
Supongamos que tengo un conjunto de datos con imágenes de gatos, perros, jirafas, leones, cocodrilos y otros animales (aquí están las etiquetas). Consideremos que tengo un total de n etiquetas. Una única imagen puede contener uno o más animales de un solo tipo. Es decir, una imagen del león puede contener varios leones en ella, pero ninguna otra etiqueta (animales).
Tengo que crear un modelo de aprendizaje automático que primero clasifique una imagen en una etiqueta en particular y luego use la detección de objetos para dibujar cuadros delimitadores alrededor de todos los animales particulares (o etiquetas) en esa imagen.
¿Cómo puedo lograr esto utilizando archivos de modelo de aprendizaje automático mínimos (como archivos .h5 o .pth)?
Un enfoque obvio de fuerza bruta sería construir un modelo clasificador que pueda clasificar una imagen en su etiqueta particular y luego construir modelos de detección de objetos para las n etiquetas (aquí animales) y usar el modelo apropiado para obtener los cuadros delimitadores. Pero esto resultaría en un total de n + 1 modelos de aprendizaje automático, y no quiero que esto suceda. Me gustaría tener modelos de aprendizaje automático mínimos y hacer la tarea.
¿Es posible hacer esto con solo dos modelos de aprendizaje automático o solo uno? ¿Cómo puedo resolver efectivamente este problema?
Edit: Mi objetivo principal es utilizar la información que obtengo del modelo clasificador en la detección de objetos para mejorar su precisión.
Supongamos que mi clasificador identificó la imagen como un león. Luego, quiero que el modelo entrenado para identificar el cuadro delimitador de un león se emplee para encontrar los cuadros delimitadores en la imagen, en lugar de un modelo de detección de imágenes multinivel que esté entrenado en todas las etiquetas (aquí animales).
Deseo hacer esto porque, en mi caso de uso, las etiquetas son similares y un modelo de detección de imágenes multinivel puede tener una precisión reducida.
davy.ai
Una posible solución a este problema es utilizar un solo modelo de aprendizaje automático que combine tanto la tarea de clasificación como la de detección de objetos. Este modelo puede ser entrenado utilizando un enfoque de aprendizaje de múltiples tareas, donde el modelo aprende a clasificar la imagen en su etiqueta particular y también aprende a identificar las cajas delimitadoras de los animales en la imagen.
Este enfoque tiene la ventaja de usar solo un archivo de modelo de aprendizaje automático para ambas tareas, lo que reduce la complejidad del modelo y mejora la eficiencia general. Además, al utilizar información de la tarea de clasificación, el modelo puede mejorar la precisión de la tarea de detección de objetos, como se menciona en la edición.
Sin embargo, entrenar un modelo de este tipo requiere un conjunto de datos grande y diverso, y puede requerir modificaciones adicionales en la arquitectura para asegurarse de que el modelo sea capaz de realizar ambas tareas con una precisión razonable. También es importante evaluar el rendimiento del modelo en un conjunto de validación separado para asegurarse de que se generalice bien a imágenes nuevas y no vistas.
En general, aunque puede ser posible lograr el resultado deseado con un solo modelo de aprendizaje automático o un pequeño número de modelos, se requiere una planificación cuidadosa y experimentación para encontrar una solución efectiva.