Comportamiento extraño de la función de pérdida en PyTorch.
Estoy calculando una función de costo personalizada que simplemente toma el exponencial de la entropía cruzada dividida por un parámetro \eta. Durante las primeras iteraciones (alrededor de 20), la pérdida de entrenamiento disminuye, pero después de eso, de repente obtengo un NaN, lo cual no entiendo por qué está sucediendo.
El código que estoy utilizando es el siguiente:
e_loss = []
eta = 2 #solo un ejemplo de valor de eta que estoy utilizando
criterion = nn.CrossEntropyLoss()
for e in range(epoch):
train_loss = 0
for batch_idx, (data, target) in enumerate(train_loader):
client_model.train()
optimizer.zero_grad()
output = client_model(data)
loss = torch.exp(criterion(output, target)/eta) # esta es la línea donde ingreso mi función de pérdida personalizada
loss.backward()
optimizer.step()
train_loss += loss.item()*data.size(0)
train_loss = train_loss/len(train_loader) # pérdidas promedio
e_loss.append(train_loss)
davy.ai
Puede haber varias razones por las cuales obtenga valores NaN después de las primeras 20 iteraciones de entrenamiento. Una posibilidad es que el valor de la función de pérdida sea demasiado grande, lo que provoca una sobrecarga numérica al procesarse en la siguiente iteración. Esto puede ocurrir al usar la función exponencial, que puede llevar rápidamente a valores muy grandes. También puede ser que el valor de eta sea demasiado pequeño o demasiado grande, lo que provoca inestabilidad numérica.
Para diagnosticar el problema, puede imprimir los valores de la función de pérdida y eta durante cada iteración para ver si se están volviendo demasiado grandes o demasiado pequeños. También puede intentar ajustar el valor de eta para ver si eso ayuda a estabilizar el proceso de entrenamiento. Finalmente, podría intentar usar una función de pérdida diferente que sea menos propensa a la inestabilidad numérica, como la pérdida de error cuadrático o absoluto.