Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Soy nuevo en Pytorch y estoy tratando de hacer algunos experimentos de muestreo de importancia: Durante una época de evaluación, calculo la pérdida para cada muestra de entrenamiento y obtengo la suma de gradientes para esta muestra de entrenamiento. Finalmente, ordenaré las muestras de entrenamiento según los gradientes que introdujeron. . . . Read more
¿Existe alguna manera en TensorFlow de calcular la salida de una capa mientras se especifican los pesos, algo así como y = layer(x, weights=w)? El propósito final es calcular el gradiente de alguna función de los pesos, $w \mapsto layer(x, weights = f(w))$, sin embargo, la diferenciación automática parece no . . . Read more
Cuando se entrena una red neuronal, si se utiliza el mismo módulo varias veces en una iteración, ¿el gradiente del módulo necesita un procesamiento especial durante la retropropagación? Por ejemplo: En este modelo se utiliza una Compensación Deformable tres veces, lo que significa que comparten los mismos pesos. ¿Qué sucederá . . . Read more
Tengo una red genérica sin elemento aleatorio en su estructura (por ejemplo, sin dropout), de modo que si avanzo una imagen dada a través de la red, pongo el gradiente a cero y repito el avance con la misma imagen de entrada, obtengo el mismo resultado (mismo vector de gradiente, . . . Read more
Podría obtener el gradiente de salida con respecto a la entrada cambiando la entrada como se muestra a continuación. Pero cuando cambié el dispositivo de cpu a gpu, no se calculó (obtuve “None”). ¿Cómo puedo obtener el gradiente? action_batch = torch.tensor(action_batch, requires_grad=True, dtype=torch.float32).to(self.device) self.critic_optimizer.zero_grad() print(action_batch.grad) critic_loss.backward() print(“================**”) print(action_batch.grad) self.critic_optimizer.step() Gradiente . . . Read more