Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Sé que hay información que equivale a 10 páginas de Google sobre esto, pero todas me dicen que simplemente coloque –master yarn en el comando spark-submit. Pero, en modo de clúster, ¿cómo puede mi computadora local saber lo que eso significa? Digamos que tengo mi computadora portátil y un clúster . . . Read more
Quiero poder configurar las siguientes variables de entorno al enviar un trabajo a través de dataproc submit: SPARK_HOME PYSPARK_PYTHON SPARKCONFDIR HADOOPCONFDIR ¿Cómo puedo lograr eso?
Tal vez alguien conozca una forma más sencilla de hacer esto. Estoy ejecutando un clúster EMR (6.x) (1 Master, 1 Slave) con Spark (3.x). Estoy intentando escribir algunos datos en MySQL RDS con un trabajo de Spark. Obtengo este error: Tengo que mencionar que no he instalado el jar en . . . Read more
Estoy intentando configurar los lanzamientos de Spark para usar JAR que están almacenados en Artifactory. He intentado varias formas de hacerlo. Intento 1: Cambiar el parámetro –jars para apuntar al punto final https Resultado 1: Error 401. Las credenciales se pasan así: https://usuario:contraseña@jfrog-endpoint. El enlace se probó usando wget y . . . Read more