La GPU se queda sin memoria, solo con la importación del modelo pre-entrenado BERT.
Estaba tratando de descubrir por qué mi modelo no funciona y qué parte de él utiliza toda la memoria de la GPU, ya que siempre obtenía el mismo error: RuntimeError: CUDA sin memoria. Se intentó asignar 120,00 MiB (GPU 0; capacidad total de 6,00 GiB; 4,85 GiB ya asignados; 0 bytes libres; 4,89 GiB reservados en total por PyTorch) Si la memoria reservada es >> memoria asignada, intente establecer max_split_size_mb para evitar la fragmentación. Consulte la documentación para la gestión de memoria y PYTORCH_CUDA_ALLOC_CONF.
Buscaba en Google y todo el mundo decía que tal vez los tensores que estoy guardando son demasiado grandes, pero no era el caso, ya que no ocupaban memoria en absoluto al guardarlos.
Así que empecé a usar torch.cuda.max_memory_allocated() para descubrir qué parte ocupa toda la memoria y descubrí que cuando uso model = BertForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=len(codes)), la memoria ya está casi llena por completo y el modelo no puede funcionar.
model.cuda()
Soy bastante nuevo en este campo, así que estoy usando un modelo preentrenado, pero aún no he tenido éxito. Espero que alguien ya haya tenido el mismo error y sepa cómo solucionarlo. Gracias de antemano.
davy.ai
Parece que el problema está relacionado con el uso de memoria en tu modelo de PyTorch en la GPU. El mensaje de error
RuntimeError: CUDA out of memoryusualmente indica que la GPU se quedó sin memoria mientras se ejecutaba el modelo.Para solucionar este problema, puedes intentar los siguientes pasos:
Usar acumulación de gradientes: En lugar de actualizar los parámetros después de cada batch, acumula los gradientes de varios batches y luego actualiza los parámetros. Esta técnica puede ayudar a reducir el uso de memoria.
Liberar memoria después de cada batch: Puedes llamar a
torch.cuda.empty_cache()al final de cada batch para liberar la memoria en la GPU.Usar entrenamiento con precisión mixta: Puedes utilizar el entrenamiento con precisión mixta, que implica el uso de tipos de datos de menor precisión para ciertas partes del modelo para reducir el uso de memoria.
Incrementar la memoria de la GPU: Si ninguno de los pasos anteriores funciona, puedes intentar incrementar la memoria de la GPU o usar una GPU más grande.
Es importante tener en cuenta que la solución puede depender del modelo y el conjunto de datos específicos que estés utilizando, por lo que tal vez necesites experimentar con diferentes enfoques para encontrar la mejor solución para tu caso.