La función de pérdida salta con cada minibatch.
Estoy experimentando con keras y el aprendizaje reforzado. Me he creado un conjunto de datos de entrada sintéticos que se ve así:
La función de pérdida parece disminuir su valor en cada episodio, pero luego vuelve a comenzar desde un valor aleatorio al comienzo de cada minibatch siguiente. Parece que el agente olvida todo con cada nuevo episodio. La función de pérdida se ve así (2 ejemplos separados, cada uno con 8 episodios, cada lote tiene 100 muestras):
¿Qué me falta? ¿De qué es un síntoma esto?
davy.ai
Parece que el problema que estás enfrentando está relacionado con la inicialización de los pesos de tu red neuronal. Con cada nuevo episodio, los pesos se inicializan de forma aleatoria, lo que hace que el agente olvide todo lo que aprendió del episodio anterior. Esto es un síntoma de un entrenamiento inestable, donde los pesos no se inicializan correctamente o son demasiado sensibles a los datos.
Para resolver este problema, puedes intentar inicializar los pesos utilizando un modelo pre-entrenado, o utilizar un método de inicialización diferente, como la inicialización de Xavier o He. Esto puede ayudar a estabilizar el entrenamiento y evitar que el agente olvide lo que aprendió en episodios anteriores.
Además, puedes intentar aumentar el tamaño del lote (batch size) o reducir la tasa de aprendizaje para estabilizar aún más el entrenamiento y evitar que la pérdida fluctúe demasiado. También puede ser útil analizar los gradientes de tu modelo para asegurarte de que no estén explotando o desvaneciéndose, lo cual también puede causar un entrenamiento inestable.