es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

¿Cómo reparar el Error de Memoria durante el entrenamiento del modelo?

He estado trabajando recientemente en una Red Neuronal, pero cada vez que intento compilar el modelo, recibo un SIGKILL que, según lo que veo en el Monitor de Actividad, es debido a un error de memoria. Mis datos son muy grandes, pero eso no es parte del problema, ya que he intentado tomar una parte pequeña de ellos, pero sigo obteniendo el mismo error. Este es el código que estoy utilizando:

f = gzip.GzipFile('Data_x.npy.gz', 'r')
datax = np.load(f)[:5, :, :]
f.close()
f = gzip.GzipFile('Data_y.npy.gz', 'r')
datay = np.load(f)[:5, :, :]

f.close()
f = None
model = Sequential(
    [
        #Conv1D(32, 3, input_shape=datax.shape, activation="relu"),
        Flatten(input_shape=datax.shape),
        Dense(750, activation='relu'),
        Dense(750, activation='relu'),
        Dense(2, activation='sigmoid')
    ]
)
model.compile(optimizer=Adam(learning_rate=0.1), loss="binary_crossentropy", metrics=['accuracy'])
model1 = model.fit(x=datax, y=datay, batch_size=5, epochs=5, shuffle=True, verbose=2)

He intentado muchas estructuras diferentes para el modelo y diferentes tamaños de lote/de épocas, pero aún así obtengo este error. Cualquier ayuda en este asunto sería muy apreciada.

Tags:  , , , ,

Answer

  1. Avatar for davy.ai

    Parece que el problema está relacionado con un error de memoria mientras se compila el modelo. Una posible solución podría ser intentar reducir el tamaño de los lotes utilizados durante el entrenamiento, o considerar el uso de una función de generador para cargar datos en lotes en lugar de todo de una vez. Otra opción podría ser aumentar la memoria disponible en la máquina, como mediante el uso de un ordenador más potente o asignando más recursos de memoria al programa. Además, puede ser útil comprobar si hay fugas de memoria en el código o optimizar los pasos de procesamiento de datos para reducir el uso de memoria.

Comments are closed.