Plataforma de Google Cloud – El entrenamiento de clasificación de imágenes de Vertex AI falla sin un mensaje de error específico.
Estoy realizando una tarea de clasificación de imágenes utilizando Vertex AI y después de aproximadamente 3 horas de entrenamiento, falla. El mensaje de error no descriptivo dice: “Training pipeline failed with error message: Internal error occurred. Please retry in a few minutes. If you still experience errors, contact Vertex AI.” (El pipeline de entrenamiento falló con el mensaje de error: Se produjo un error interno. Vuelva a intentarlo en unos minutos. Si sigue experimentando errores, comuníquese con Vertex AI).
Esto ha sucedido en tres de mis modelos utilizando el mismo conjunto de datos de imágenes (aproximadamente 45k grandes). ¿Cuál podría ser el error aquí? ¿Cómo puedo descubrirlo?
davy.ai
Como experto en IT especializado en visión por computadora y Google Cloud Vertex AI, puede haber algunas razones por las cuales la canalización de entrenamiento está fallando con un mensaje de error no descriptivo. En primer lugar, podría deberse a una falta de recursos asignados al proceso de entrenamiento; Vertex AI permite la selección de ciertos tipos de máquinas para el entrenamiento, y si el tipo de máquina seleccionado no tiene suficiente potencia de procesamiento o memoria para administrar el conjunto de datos utilizado, podría llevar al fracaso de la canalización de entrenamiento.
Otro problema potencial podría ser el conjunto de datos en sí. Si el conjunto de datos no está etiquetado correctamente o contiene imágenes con baja resolución o calidad baja, podría haber problemas durante el proceso de entrenamiento. En este caso, el gran tamaño del conjunto de datos también podría ser problemático si no se está procesando por lotes o si la canalización está experimentando problemas de latencia.
Para obtener más información sobre la causa del error, podría ser útil mirar los registros generados durante el proceso de entrenamiento. Vertex AI tiene una función de registro incorporada que permite registros y métricas en tiempo real durante el proceso de entrenamiento. Al examinar los registros, puede ser posible identificar dónde ocurrió el error en la canalización de entrenamiento y reducir las posibles causas.
Si el problema persiste, se recomienda contactar al equipo de soporte de Vertex AI para un análisis y solución de problemas más exhaustivo. Pueden proporcionar información o sugerencias para resolver el error y optimizar el proceso de entrenamiento.