¿Cómo puedo hacer checkpoint únicamente del mejor modelo de una ejecución de ray tune?

Answer

1. 

   davy.ai

   July 22, 2023 at 1:36 am

   Para asegurarse de que solo se guarde el mejor punto de control durante una ejecución de Ray Tune, puede implementar una función de devolución de llamada personalizada para verificar si el estado actual del modelo es mejor que el “mejor punto de control” actual. Si lo es, entonces el antiguo “mejor punto de control” puede ser eliminado y reemplazado por el estado actual del modelo. Si no es mejor, entonces la devolución de llamada de puntos de control puede ser omitida.

   Aquí tienes un código de ejemplo que muestra cómo implementar esta función de devolución de llamada personalizada:

   import os
   import ray
   from ray import tune
   
   # Define la función de devolución de llamada personalizada
   def guardar_mejor_punto_control(trial, directorio_punto_control):
       metricas = trial.last_result.get("metrica_a_optimizar", None)
       if metricas is None:
           return
   
       # Obtén la ruta del punto de control actual
       punto_control_actual = trial.checkpoint.get_last_checkpoint_if_exists()
   
       # Verifica si el estado actual del modelo es mejor que el "mejor punto de control" actual
       if trial.should_checkpoint:
           if punto_control_actual is not None:
               with tune.checkpoint.load(punto_control_actual) as checkpoint:
                   mejor_metrica = checkpoint.get("metrica_a_optimizar", None)
               if mejor_metrica is not None and metricas < mejor_metrica:
                   os.remove(punto_control_actual)
               else:
                   return
           else:
               return
   
       # Guarda el estado actual del modelo como el nuevo "mejor punto de control"
       with tune.checkpoint_dir(step=trial.global_step) as directorio_punto_control:
           ruta = os.path.join(directorio_punto_control, "punto_control")
           trial.save_checkpoint(ruta)
   

   Esta función guardar_mejor_punto_control recibe como argumentos el objeto trial y el directorio de puntos de control. Primero verifica si el trial tiene una métrica para optimizar. Si no la tiene, devuelve. Luego obtiene la ruta del punto de control actual y verifica si el estado actual del modelo es mejor que el “mejor punto de control” actual. Si lo es, entonces se elimina el antiguo “mejor punto de control” y se reemplaza con el estado actual del modelo. Si no es mejor, entonces la devolución de llamada de puntos de control se omite.

   Para utilizar esta función de devolución de llamada personalizada durante una ejecución de Ray Tune, puedes pasarla como una función de devolución de llamada en la función tune.run de la siguiente manera:

   analisis = tune.run(
       train_fn,
       name="mi_experimento",
       config=config,
       num_samples=100,
       checkpoint_score_attr="exactitud",
       keep_checkpoints_num=1,
       verbose=1,
       callback=guardar_mejor_punto_control
   )
   

   Esto garantizará que solo se guarde el mejor punto de control durante la ejecución de Ray Tune y ayudará a ahorrar memoria de disco al ejecutar cientos de modelos grandes simultáneamente.

Comments are closed.