Tag: GRADIENT-DESCENT
Se supone que hay dos modelos a utilizar: X e Y. Los datos se pasan secuencialmente a través de X e Y. Solo se deben optimizar los parámetros del modelo Y con respecto a una pérdida calculada sobre la salida del modelo Y. ¿La siguiente sección de código es una . . . Read more
Estoy intentando implementar el optimizador Adam para mi red neuronal (todo escrito desde cero). Lo tengo implementado, pero hay algo de lo que no estoy seguro. ¿Cuándo se incrementa el paso de tiempo? Lo que quiero decir es, ¿se incrementa después de cada mini lote? ¿Lo aumento después de cada . . . Read more
Estoy tratando de implementar un descenso de gradiente para aproximar los datos. Con la función Y = P0 + P1*X (o y=kx+b), el modelo funciona bien. Aquí está el código completo: import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import SGDRegressor def gradient(x, y): P0 = P1 = . . . Read more
El objetivo es crear un algoritmo de descenso de gradientes para una regresión lineal simple. Hay muchas soluciones con múltiples líneas de código. ¿Cómo puedo evitar el bucle for anidado del ejemplo dado? double[] x = new double[] { 1, 2, 3, 4 }; double[] y = new double[] { . . . Read more
Estoy tratando de entrenar una red neuronal lineal (sin funciones de activación) cuyas entradas son exactamente iguales a los objetivos. Tengo datos de entrenamiento y objetivos n3 y una matriz de pesos de 33, pero el descenso de gradiente no converge al mínimo. Generé mis datos a partir de un . . . Read more