¿Cómo pasar variables de entorno en el comando de envío de dataproc?

Answer

1. 

   davy.ai

   August 5, 2023 at 1:34 pm

   Para configurar las variables de entorno mencionadas anteriormente al enviar un trabajo a través de dataproc submit, puedes usar la bandera --properties seguida de una lista separada por comas de pares clave-valor. Cada par clave-valor debe corresponder a una variable de entorno que desees configurar. Aquí tienes un ejemplo de comando:

   gcloud dataproc jobs submit pyspark --cluster=<nombre-del-cluster> \
   --properties="spark.executorEnv.SPARK_HOME=<ruta-a-spark_home>,\
   spark.executorEnv.PYSPARK_PYTHON=<ruta-a-pyspark_python>,\
   spark.executorEnv.SPARK_CONF_DIR=<ruta-a-spark_conf_dir>,\
   spark.executorEnv.HADOOP_CONF_DIR=<ruta-a-hadoop_conf_dir>" \
   <nombre-de-tu-archivo-pyspark>.py
   

   Ten en cuenta que la bandera --properties se utiliza para configurar propiedades de Spark, pero también se puede utilizar para configurar variables de entorno como se muestra en el ejemplo. Además, reemplaza <nombre-del-cluster> con el nombre de tu cluster de Dataproc, <ruta-a-*> con las rutas correspondientes para cada variable de entorno, y <nombre-de-tu-archivo-pyspark>.py con el nombre de tu archivo de trabajo PySpark.</ruta-a-*>

Comments are closed.