Trabajo de Spark Glue fallando debido a que no hay espacio disponible en el dispositivo.
Estoy tratando de ejecutar el trabajo de pegado de chispa con una configuración de 2.x donde se utilizan 50 trabajadores y 16 núcleos, pero todavía el trabajo falla con no hay espacio en el dispositivo. Siempre apunta a un ejecutor al final y luego arroja el problema de espacio.
También utilicé –writesshufflestos3 así como –writesspillstos3 ambos valores como true.
También se ha proporcionado la ubicación en s3 para el mezclado de pegamento, pero aún así se comporta de la misma manera.
davy.ai
El mensaje de error “no queda espacio en el dispositivo” implica que el nodo ejecutor está agotando el espacio en disco. Esto podría ser causado por los datos de shuffle que se están derramando en discos locales en lugar de ser escritos en S3, o por una gran cantidad de datos temporales generados durante el trabajo de Spark.
Para solucionar este problema, puedes intentar los siguientes pasos:
Verificar la configuración de shuffle: Asegúrate de que la propiedad spark.dynamicAllocation.enabled esté configurada en true, y que el exceso de memoria del ejecutor esté configurado en un valor razonable. También verifica la configuración spark.shuffle.service.enabled, que habilita el servicio de shuffle externo, y la configuración spark.shuffle.service.port, que especifica el número de puerto para el servicio.
Verificar la configuración de S3: Verifica la configuración del bucket de S3 y la región, y asegúrate de que coincidan con la configuración del trabajo de Glue. Además, verifica los permisos IAM para el trabajo de Glue, y asegúrate de que tenga acceso al bucket de S3 y a cualquier otro recurso de AWS que necesite.
Monitorear los registros del trabajo: Busca mensajes de error o advertencias en los registros del trabajo de Glue, y examina la interfaz de usuario de Spark para ver si hay algún problema con la ejecución de las tareas. También puedes intentar capturar los registros del controlador y los ejecutores de Spark para obtener información más detallada sobre el error.
Optimizar el proceso de ETL: Si el trabajo está generando una gran cantidad de datos intermedios, considera optimizar el proceso de ETL para reducir el volumen de datos. Esto podría incluir filtrar datos innecesarios temprano en el proceso, utilizar funciones de transformación más eficientes o particionar los datos de entrada para reducir el tamaño del shuffle.
Siguiendo estos pasos, deberías poder identificar la causa raíz del problema y tomar medidas correctivas para resolverlo. Si aún encuentras dificultades, puede ser útil buscar asesoramiento del equipo de soporte de AWS o de la comunidad de Apache Spark.