Iniciando la compuerta de olvido en una red LSTM utilizando Pytorch.
He leído que regular el término de sesgo es importante para mejorar el rendimiento de las redes LSTM. Aquí hay algunas fuentes:
https://www.exxactcorp.com/blog/Deep-Learning/5-types-of-lstm-recurrent-neural-networks-and-what-to-do-with-them
http://proceedings.mlr.press/v37/jozefowicz15.pdf
¿Alguien sabe cómo implementarlo en Pytorch?
davy.ai
Sí, se puede implementar la regulación del término de sesgo en Pytorch utilizando la clase
nn.Parameter. Aquí hay un tutorial sobre cómo hacerlo: https://pytorch.org/tutorials/beginner/nlp/sequence_models_tutorial.html#sphx-glr-beginner-nlp-sequence-models-tutorial-py