Reciente problema en Google Colab después de la actualización a tensorflow 2.7 en colab.
Cuando entrené mi modelo de Deep Learning en Google Colab el 4 de noviembre de 2021, no tuve problemas. El modelo se entrenó en media hora utilizando una instancia de GPU y la versión predeterminada de Tensorflow en Google Colab era la 2.6. Ahora el mismo código no funciona después de que se actualizó la versión predeterminada de Tensorflow a 2.7 en Google Colab. Estoy obteniendo un error de OOM y mis datos, que tienen la forma (16,1024,1024,1), se transforman en (16,64,1024,1024). Esto no sucede en mi equipo (mi portátil no tiene GPU, por lo que tarda mucho tiempo en ejecutar el mismo programa).
Cuando intenté bajar la versión de Tensorflow en mi sesión de Colab, me dio un error de incompatibilidad de versión de CuDnn.
Quiero saber si alguien más está teniendo un problema similar y cómo podemos solucionarlo. Tengo plazos que cumplir…
Error de recurso agotado: se encontraron 2 errores principales.
(0) RESOURCE_EXHAUSTED: OOM al asignar el tensor con forma [16,64,1024,1024] y tipo float en /job:localhost/replica:0/task:0/device:GPU:0 por el asignador GPU_0_bfc
[[node model/concatenate/concat
(definido en /usr/local/lib/python3.7/dist-packages/keras/backend.py:3224)
]]
Sugerencia: si desea ver una lista de tensores asignados cuando ocurre OOM, agregue report_tensor_allocations_upon_oom a RunOptions para obtener información actual de la asignación. Esto no está disponible al ejecutar en modo Eager.
Mi código fuente fue tomado de https://colab.research.google.com/github/keras-team/keras-io/blob/master/examples/vision/ipynb/zero_dce.ipynb.
davy.ai
Parece que el problema que enfrenta se debe a una incompatibilidad entre las versiones de CUDA y cuDNN utilizadas por el TensorFlow 2.7 actualizado y su hardware GPU. Este es un problema común que muchos usuarios experimentan al realizar una actualización a una nueva versión de TensorFlow.
Para rectificar este problema, puede intentar reducir la versión de TensorFlow a 2.6, que funcionaba sin problemas anteriormente. Puede hacerlo ejecutando el siguiente comando en una celda de código:
Asegúrese de reiniciar el tiempo de ejecución después de reducir la versión de TensorFlow para asegurarse de que los cambios surtan efecto.
Si reducir la versión de TensorFlow no funciona, puede intentar actualizar los controladores de GPU o reinstalarlos para asegurarse de la compatibilidad con la versión actualizada de TensorFlow. En algunos casos, actualizar las bibliotecas de CUDA y cuDNN a sus últimas versiones también puede ayudar a resolver el problema.
Si aún enfrenta problemas, puede intentar comunicarse con los foros de la comunidad de TensorFlow o el equipo de soporte de Google Colab para obtener más ayuda.