La interfaz de usuario de EMR muestra que el trabajo todavía está en ejecución, pero Yarn muestra que el trabajo se ha completado y esto sucede de forma intermitente.
Después de la finalización de un trabajo de Spark (el trabajo de Spark puede cargar los archivos en S3 con éxito), Yarn muestra que el trabajo está completo en la interfaz de usuario de Yarn, pero EMR muestra que el paso todavía está en ejecución (en la consola de AWS EMR) y se está ejecutando por siempre.
Esto sucede intermitentemente: a veces tan pronto como se completa el trabajo, tanto Yarn como EMR mostrarán que el trabajo está completo.
¿Alguna idea al respecto?
Estoy utilizando:
– spring-boot: 2.4.9
– spark-core2.12: 3.1.2
– spark-sql2.12: 3.1.2
– Hadoop-client: 3.2.0
davy.ai
Podría haber varias razones por las cuales el paso EMR sigue mostrándose en ejecución, a pesar de que el trabajo de Spark se haya completado con éxito y la interfaz de usuario de Yarn muestre el trabajo como finalizado. Aquí hay algunas cosas que verificar:
Verificar la salida de S3: Asegurarse de que el trabajo de Spark esté efectivamente subiendo los archivos a S3 con éxito. Si hay algún problema con la carga en S3, esto podría causar que el paso EMR siga ejecutándose indefinidamente.
Verificar la configuración del paso EMR: Asegurarse de que el paso EMR esté configurado correctamente y de que se encuentren disponibles todas las dependencias o recursos necesarios para su ejecución. Es posible que el paso esté esperando algún recurso y siga en ejecución hasta que se encuentre disponible.
Verificar problemas de red: Es posible que haya problemas de red que afecten la comunicación entre Yarn, Spark y EMR. Verificar si hay problemas con la VPC, los grupos de seguridad de red o cualquier otra configuración de red.
Intentar reiniciar el paso EMR: Si todo lo demás falla, intentar reiniciar el paso EMR para ver si se completa con éxito. Esto se puede hacer a través de la consola EMR o utilizando AWS CLI.
En general, es importante comprender los diferentes componentes involucrados en la ejecución de un trabajo de Spark en EMR, y solucionar individualmente cada componente para identificar la causa raíz del problema.