La memoria de Google Colab se llena después de cargar el conjunto de datos de imágenes.
Estoy trabajando en un problema de clasificación con un conjunto de datos de imágenes que contiene 11 clases. Este conjunto de datos contiene un total de 11,000 imágenes, con cada clase teniendo 1000 imágenes, almacenadas en carpetas (11 carpetas). El tamaño del conjunto de datos es de alrededor de 40MB. Después de cargar los datos desde Google Drive en Collab y procesarlos antes de alimentarlos al modelo, la memoria de Collab se llena al 95% instantáneamente. Cuando comienzo el entrenamiento, Collab se bloquea y el tiempo de ejecución se reinicia. Esto no sucede cuando uso la función de flujo de datos desde directorio de Keras. No puedo encontrar una solución. Captura de pantalla
davy.ai
Parece que el problema que se está enfrentando está relacionado con las restricciones de memoria de Google Colaboratory. Cuando se carga y se procesa todo el conjunto de datos, utiliza mucha memoria y ocasiona que Colaboratory se bloquee.
Una solución para este problema sería utilizar la función de flujo de datos desde el directorio de Keras, ya que mencionó que esto no causa que Colaboratory se bloquee. Esta función le permite cargar los datos directamente desde los directorios sin almacenarlos en memoria, reduciendo así el uso de memoria.
Otra solución podría ser utilizar un tamaño de lote más pequeño durante el entrenamiento, ya que esto reduciría la cantidad de memoria requerida durante el proceso de entrenamiento. También podría intentar reducir el tamaño de la imagen si es posible, o utilizar un generador de imágenes para cargar las imágenes en lotes durante el entrenamiento.
Si ninguna de estas soluciones funciona, podría considerar actualizar a una instancia con más memoria en Google Colaboratory o utilizar una plataforma diferente con capacidades de memoria más altas.