Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Mi sintaxis de submit en Spark es la siguiente: spark-submit –queue regular –deploy-mode cluster –conf spark.locality.wait=5000000ms –num-executors 100 –executor-memory 40G job.py La excepción ocurrió después de que el trabajo se ejecutara correctamente por un tiempo y fue la siguiente: Mensaje de diagnóstico de la aplicación: La aplicación del usuario salió . . . Read more
Estoy intentando que Hive LLAP funcione en mi servidor. Mi configuración hasta ahora es: Hadoop 3.31, tez 0.9.2, hive 3.1.2, zookeeper 3.7.0 todos desde archivos tar. Hive en Tez está funcionando. Las selecciones devuelven los resultados esperados. Ahora quiero poner en marcha LLAP, así que configuré los archivos de configuración . . . Read more
Problema ¿Alguien sabría cómo recuperar el enlace del panel de control de dask cuando envío mi trabajo dask-yarn? Tengo una declaración de impresión para mostrar el enlace del panel de control de dask, pero no aparece en la consola. También he intentado registrar en stdout y tratar de ver si . . . Read more
A continuación se muestra una instantánea del mensaje de error.
Después de la finalización de un trabajo de Spark (el trabajo de Spark puede cargar los archivos en S3 con éxito), Yarn muestra que el trabajo está completo en la interfaz de usuario de Yarn, pero EMR muestra que el paso todavía está en ejecución (en la consola de AWS . . . Read more