¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: MULTI-GPU

Acumula gradientes con estrategia distribuida en Tensorflow 2

15 Jul, 2023 Programación 0

He implementado una estrategia distribuida para entrenar mi modelo en múltiples GPUs. strategy = tf.distribute.MirroredStrategy(devices=devices[:FLAGS.n_gpus]) strategy.run(fn=self.train_step, args=(model, data)) Mi modelo ahora se ha vuelto más complejo y grande y tuve que reducir el tamaño del lote para que quepa en las GPUs. El gradiente ahora es bastante ruidoso y quiero . . . Read more

Algo acerca de la reproducibilidad de PyTorch en múltiples GPU.

16 Jun, 2023 Programación 0

He establecido la semilla aleatoria para que mi modelo sea reproducible y funciona cuando utilizo una sola GPU para entrenar mi modelo. Sin embargo, parece que no funciona cuando intento usar nn.DataParallel() para entrenar mi modelo en dos GPUs. El resultado es diferente cada vez. Entonces, ¿dónde está el problema? . . . Read more