es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: GRADIENT-DESCENT

Aclaración sobre Acumulación de Gradientes.

Estoy tratando de entender mejor cómo funciona la Acumulación de Gradientes y por qué es útil. Con este fin, me gustaría preguntar cuál es la diferencia (si alguna) entre estas dos posibles implementaciones en estilo PyTorch de un bucle de entrenamiento personalizado con acumulación de gradientes: pasos_de_acumulacion_de_gradiente = 5 for . . . Read more

¿Cómo puedo optimizar los pesos de la capa de entrada utilizando backward en esta red neuronal simple en PyTorch cuando .grad es None?

Definí la siguiente red neuronal simple: import torch import torch.nn as nn X = torch.tensor(([1, 2]), dtype=torch.float) y = torch.tensor([1.]) learning_rate = 0.001 class Neural_Network(nn.Module): def __init__(self, ): super(Neural_Network, self).__init__() self.W1 = torch.nn.Parameter(torch.tensor(([1, 0], [2, 3]), dtype=torch.float, requires_grad=True)) self.W2 = torch.nn.Parameter(torch.tensor(([2], [1]), dtype=torch.float, requires_grad=True)) def forward(self, X): self.xW1 = torch.matmul(X, . . . Read more

RuntimeError: el elemento 0 de los tensores no requiere de gradiente y no tiene una función de gradiente para la regresión lineal con descenso de gradiente usando torch.

Estoy intentando implementar un descenso de gradiente simple para una regresión lineal con PyTorch, como se muestra en este ejemplo en la documentación: import torch from torch.autograd import Variable learning_rate = 0.01 y = 5 x = torch.tensor([3., 0., 1.]) w = torch.tensor([2., 3., 9.], requires_grad=True) b = torch.tensor(1., requires_grad=True) . . . Read more