es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

¿Por qué el Yarn ResourceManager siempre se apaga cuando envío un trabajo?

20 Jul, 2023 Programación

Ahora estoy aprendiendo cómo construir un clúster de Hadoop y el primer paso es probar un clúster Pseudo-Distribuido siguiendo la guía de https://hadoop.apache.org/docs/r3.3.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation. Y logré iniciar yarn llamando $HADOOP_HOME/sbin/start-dfs.sh y $HADOOP_HOME/sbin/start-yarn.sh. La salida de jps es la siguiente:

enter image description here

Sin embargo, si envío un trabajo, que no hace nada en realidad, el Gestor de Recursos se detiene inmediatamente.

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount input output
La salida en la consola es la siguiente:
output of console
y el registro es el siguiente:
log of resourcemanager

El resultado de strace para el Gestor de Recursos es el siguiente:


+++ killed by SIGKILL +++

He estado luchando durante días y no he logrado resolverlo. Cualquier consejo o idea sería bienvenido.

Oh, olvidé mencionar la versión:
– Hadoop 3.3.1
– WSL: 2, Ubuntu 20.04
– Windows 11: 22518.1000

Tags:  , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Solución para el problema de apagado del Administrador de Recursos en un clúster Hadoop Pseudo-Distribuido

    El Administrador de Recursos se apaga inmediatamente después de enviar un trabajo en un clúster Hadoop Pseudo-Distribuido. Este problema puede ocurrir debido a varias razones, como una configuración incorrecta de Hadoop, una versión incompatible de Hadoop, una asignación insuficiente de memoria, etc. Aquí hay algunas sugerencias que pueden ayudar a resolver este problema:

    • Verificar la configuración de Hadoop: Asegurarse de que los archivos de configuración de Hadoop estén configurados correctamente. Los archivos de configuración de Hadoop incluyen core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml, etc. Asegurarse de que estos archivos estén ubicados en los directorios adecuados y tengan las configuraciones correctas.

    • Verificar la compatibilidad de versiones: Asegurarse de que la versión de Hadoop que se está utilizando sea compatible con el sistema operativo que se está utilizando. Asegurarse de que no haya conflictos de versiones entre los componentes de Hadoop.

    • Verificar la asignación de memoria: A veces, el Administrador de Recursos puede apagarse debido a una asignación insuficiente de memoria. Asegurarse de que haya suficiente memoria asignada a los procesos de Hadoop. Esto se puede hacer configurando la variable de entorno HADOOP_HEAPSIZE.

    • Verificar los registros y mensajes de error: Verificar los registros y mensajes de error generados por el Administrador de Recursos. Estos registros pueden proporcionar información sobre la causa del problema.

    • Usar strace para depurar: En el caso de que el Administrador de Recursos se apague con el mensaje “killed by SIGKILL”, intentar usar el comando strace para depurar el problema. strace es una herramienta de Linux que ayuda a depurar llamadas y señales del sistema. Usar strace con la opción -p para adjuntarse al proceso del Administrador de Recursos y depurar el problema.

    Estas son algunas sugerencias que pueden ayudar a resolver el problema de apagado del Administrador de Recursos en un clúster Hadoop Pseudo-Distribuido. Si el problema persiste, buscar ayuda profesional de un experto en TI especializado en Hadoop, Hadoop Yarn, WSL-2 y Administrador de Recursos.

Comments are closed.