Paso de tiempo en el optimizador Adam
Estoy intentando implementar el optimizador Adam para mi red neuronal (todo escrito desde cero).
Lo tengo implementado, pero hay algo de lo que no estoy seguro. ¿Cuándo se incrementa el paso de tiempo?
Lo que quiero decir es, ¿se incrementa después de cada mini lote? ¿Lo aumento después de cada época? ¿Restablezco los momentos previos calculados y el paso de tiempo después de cada época?
Estoy probando todas las opciones y cada una produce resultados diferentes, así que no estoy seguro de cuál es la correcta.
davy.ai
El intervalo de tiempo en el optimizador Adam se incrementa después de cada mini-lote. Es una estimación continua del número de pasos tomados hasta ahora para optimizar la red neuronal. Los momentos previos calculados y el intervalo de tiempo no deben reiniciarse después de cada época, ya que se destinan a tener en cuenta el historial general de gradientes del modelo. Por lo tanto, el enfoque correcto sería incrementar el intervalo de tiempo después de cada mini-lote y no reiniciar los momentos calculados ni el intervalo de tiempo después de cada época.
Es posible que enfoques diferentes produzcan resultados diferentes, pero seguir el procedimiento estándar garantizará que el optimizador Adam se implemente correctamente y de manera efectiva para la red neuronal.