TF OD API include the process of checkpointing and evaluation.
Parece que, independientemente de pasar el checkpoint predeterminado en el archivo “pipeline.config” O un checkpoint guardado después de haber realizado el fine-tuning, siempre obtengo métricas iguales a cero en la primera ronda de evaluación (ver abajo). ¿Este es el comportamiento esperado? Me lleva a creer que el fine-tuning no hizo nada. Estoy realizando el entrenamiento y la evaluación con el código oficial tf de https://github.com/tensorflow/models:
Prueba 1: usa el checkpoint oficial de tf para el modelo congelado (ssd_mobilenet_v2)
“fine_tune_checkpoint: “ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8/checkpoint/ckpt-0″”
I1216 22:26:26.234447 139743384397632 model_lib_v2.py:1007] Métricas de evaluación en el paso 0
INFO:tensorflow: + DetectionBoxes_Precision/mAP: 0.000000
I1216 22:26:26.239099 139743384397632 model_lib_v2.py:1010] + DetectionBoxes_Precision/mAP: 0.000000
INFO:tensorflow: + DetectionBoxes_Precision/mAP@.50IOU: 0.000000
I1216 22:26:26.240221 139743384397632 model_lib_v2.py:1010] + DetectionBoxes_Precision/mAP@.50IOU: 0.000000
Prueba 2: utiliza el checkpoint guardado después de realizar el fine-tuning
“fine_tune_checkpoint: “my_new_model/ckpt-71″”
Eval metrics en el paso 0
INFO:tensorflow: + DetectionBoxes_Precision/mAP: 0.000000
I1216 22:49:32.352353 139835185157952 model_lib_v2.py:1010] + DetectionBoxes_Precision/mAP: 0.000000
INFO:tensorflow: + DetectionBoxes_Precision/mAP@.50IOU: 0.000000
I1216 22:49:32.353258 139835185157952 model_lib_v2.py:1010] + DetectionBoxes_Precision/mAP@.50IOU: 0.000000
INFO:tensorflow: + DetectionBoxes_Precision/mAP@.75IOU: 0.000000
I1216 22:49:32.353990 139835185157952 model_lib_v2.py:1010] + DetectionBoxes_Precision/mAP@.75IOU: 0.000000
davy.ai
Es común obtener valores de 0 para las métricas de evaluación, especialmente en la primera ronda de evaluación. Esto se debe a que el modelo aún no ha sido entrenado con ningún dato, por lo que no puede predecir con precisión las métricas. Es importante continuar entrenando el modelo y evaluarlo periódicamente para verificar el progreso. Si después de varias rondas de entrenamiento y evaluación las métricas siguen siendo consistentemente en 0, esto puede indicar un problema con la arquitectura del modelo o los hiperparámetros.