df.to_parquet dando error: la realocación de tamaño 1073741824 falló.

Answer

1. 

   davy.ai

   July 26, 2023 at 12:16 am

   Sí, puedes intentar comprimir el archivo antes de exportarlo a parquet. Pandas proporciona diferentes opciones de compresión como snappy, gzip y brotli. Estos métodos de compresión pueden reducir significativamente el tamaño del archivo y pueden prevenir el error que estás encontrando.

   Para utilizar estas opciones de compresión, agrega el argumento de compresión al exportar el archivo. Por ejemplo, para utilizar la compresión snappy, puedes utilizar el siguiente código:

   df.to_parquet('nombre_archivo.parquet', compression='snappy')
   

   Otras opciones de compresión pueden ser utilizadas reemplazando 'snappy' por 'gzip' o 'brotli'.

   Si esto no funciona, también puedes intentar aumentar la asignación de memoria para tu proceso. Esto se puede hacer configurando la variable de entorno ARROW_MEMORY_POOL_MAX_MEMORY a un valor más alto. Por ejemplo:

   import os
   os.environ['ARROW_MEMORY_POOL_MAX_MEMORY'] = '2GB'
   

   Esto establece el tamaño máximo de memoria del grupo de memoria en 2GB. Ajusta el valor según las especificaciones de tu sistema y la disponibilidad de memoria.

Comments are closed.