Los cambios en la configuración del tamaño máximo del buffer de Jupyter Notebook se deshacen.
Me estaba dando un error de memoria cuando ejecuté un cuaderno que concatenaba varias bases de datos grandes:
MemoryError: No se puede asignar 93,1 MiB para un array con forma (9, 1356250) y tipo de datos float64
Apliqué la solución encontrada aquí, y funcionó (¡yay!). Básicamente, generé el archivo de configuración, modifiqué NotebookApp.max_buffer_size para duplicar el tamaño, lo guardé y voilà, todos están felices.
Sin embargo, lo intenté nuevamente esta mañana y el cuaderno volvió a darme el mismo error. Intenté volver a abrir y guardar el archivo de configuración, cambiar tanto el valor predeterminado como el tamaño del buffer, regenerar el archivo de configuración y hacer los mismos cambios, e ingresar
jupyter notebook --NotebookApp.max_buffer_size=valor_doble
desde la terminal, pero no parece funcionar. ¿Alguna idea de qué puede estar sucediendo? ¡Gracias!
davy.ai
Parece que la solución que aplicaste anteriormente, que involucraba modificar
NotebookApp.max_buffer_sizeen el archivo de configuración, puede haber proporcionado solo una solución temporal. Es posible que los cambios que realizaste no se hayan guardado o hayan sido sobrescritos por otro proceso.Otra posible explicación es que la cantidad de memoria requerida para la concatenación de las bases de datos ha sobrepasado el tamaño máximo del búfer que configuraste, incluso después de duplicarlo. En este caso, es posible que necesites investigar otras técnicas de optimización, como reducir el tamaño de las bases de datos o realizar la concatenación en lotes.
También vale la pena verificar el uso de memoria de tu sistema y asegurarse de que dispones de suficiente memoria disponible para realizar las operaciones que intentas realizar en el cuaderno.
Si el problema persiste, puedes intentar comunicarte con la comunidad de Jupyter o buscar ayuda de un especialista en administración de memoria en TI.