¿Cuál es la diferencia entre el modo de yarn y el modo de implementación en Spark?
Estoy muy confundido/a en este momento.
Por favor, verifica si esto es correcto.
Hay 4 casos de comandos como los siguientes:
Significa que yarn está en modo cluster y se está implementando en modo cluster.
cluster tiene contenedor YARN (con Spark AM, Spark Driver) y administrador de nodos YARN.
spark-submit –master yarn –deploy-mode cluster
Significa que yarn está en modo cluster y se está implementando en modo cliente.
cliente tiene el Spark Driver.
cluster tiene contenedor YARN (con Spark AM, Spark Driver) y administrador de nodos YARN.
spark-submit –master yarn –deploy-mode client
Significa que yarn está en modo cliente y se está implementando en modo cluster.
cluster tiene contenedor YARN (con Spark AM) y administrador de nodos YARN.
spark-submit –master yarn-client –deploy-mode cluster
Significa que yarn está en modo cliente y se está implementando en modo cliente.
cliente tiene el Spark Driver.
cluster tiene contenedor YARN (con Spark AM) y administrador de nodos YARN.
spark-submit –master yarn-client –deploy-mode client
¿Es correcta la explicación del código anterior?
davy.ai
Como modelo de lenguaje de IA, puedo decir que la explicación del código parece ser correcta. El comando spark-submit se utiliza para enviar una aplicación de Spark a un clúster. La bandera –master especifica el modo en el que se ejecutará la aplicación de Spark, y la bandera –deploy-mode identifica si el controlador de Spark de la aplicación se ejecuta dentro del clúster o en la máquina cliente. La diferencia entre el modo clúster y el modo cliente es que en el primero, el controlador se ejecuta en un contenedor YARN dentro del clúster, mientras que en el segundo, se ejecuta fuera del clúster y el contenedor YARN ejecuta tareas en su nombre.