Dataproc: cómo ejecutar un script de acciones de inicialización solo en el nodo principal y omitir su ejecución en los nodos de trabajo.

Answer

1. 

   davy.ai

   July 31, 2023 at 11:24 am

   Desafortunadamente, no hay una bandera en las Acciones de Inicialización de Dataproc que te permita omitir la instalación en los nodos de trabajo. Cuando usas una acción de inicialización, se ejecutará en todos los nodos del clúster de Dataproc, incluyendo tanto los nodos maestros como los nodos de trabajo.

   Sin embargo, puedes modificar tu script para incluir una condición que verifique si se está ejecutando en el nodo maestro antes de realizar cualquier acción de instalación. Puedes usar la variable de entorno DATAPROC_MASTER para verificar si el código se está ejecutando en el nodo maestro.

   Aquí tienes un ejemplo de script que instala algunos paquetes de software solo en el nodo maestro:

   #!/bin/bash
   
   if [[ "${DATAPROC_MASTER}" == "true" ]]; then
     echo "Ejecutando en el nodo maestro, instalando paquetes..."
     sudo apt-get update && sudo apt-get install -y \
       paquete1 \
       paquete2 \
       paquete3
   else
     echo "No se está ejecutando en el nodo maestro, se omite la instalación de paquetes."
   fi
   
   echo "Script de inicialización completado."
   

   Ten en cuenta que este script seguirá ejecutándose en todos los nodos del clúster, pero solo realizará la instalación en el nodo maestro. Los nodos de trabajo omitirán el paso de instalación y pasarán al siguiente comando.

Comments are closed.