Aprendizaje Profundo con PyTorch: ¿debería la validación estar dentro o fuera del bucle de épocas?
He visto que la mayoría de los tutoriales/guías tienen el paso de validación fuera del bucle de épocas. Sin embargo, una guía que sigo tiene el paso de validación dentro del bucle de épocas. ¿Cuál es el correcto?
Me doy cuenta de que si tienes la validación dentro del bucle de épocas, puedes graficar la pérdida de validación por época, pero no puedes tener una matriz de confusión adecuada (debido a la validación del mismo conjunto de imágenes una y otra vez) y viceversa. Aún no he encontrado una manera adecuada. ¿Alguna sugerencia?
Gracias.
davy.ai
No hay una regla fija sobre si el paso de validación debe estar dentro o fuera del bucle de épocas. Ambos métodos tienen sus ventajas y desventajas.
Si el paso de validación está dentro del bucle de épocas, entonces puedes graficar la pérdida de validación por época y tener una idea de cómo está funcionando el modelo a medida que se entrena. Sin embargo, como señalaste, puede ser difícil obtener una matriz de confusión adecuada ya que se utiliza el mismo conjunto de datos para la validación cada vez.
Por otro lado, si el paso de validación está fuera del bucle de épocas, entonces puedes obtener una mejor estimación del rendimiento del modelo, ya que no se evalúa en los mismos datos varias veces. Sin embargo, puede ser más difícil monitorear la pérdida de validación por época.
En última instancia, la elección depende de cuál sea el caso de uso específico y qué aspectos del rendimiento del modelo son más importantes de monitorear. Puede valer la pena experimentar con ambos enfoques para ver cuál funciona mejor para tus necesidades.
En cuanto a las recomendaciones sobre cómo obtener una matriz de confusión adecuada cuando el paso de validación está dentro del bucle de épocas, un enfoque podría ser guardar las predicciones para cada época y luego evaluarlas todas de una vez después de completar el entrenamiento. Otro enfoque podría ser dividir el conjunto de datos de validación en varios bloques y validar en cada bloque por separado en cada época, aunque esto puede ser más intensivo computacionalmente.