¿Cómo utilizo JAR almacenados en Artifactory en envíos de Spark?
Estoy intentando configurar los lanzamientos de Spark para usar JAR que están almacenados en Artifactory. He intentado varias formas de hacerlo.
Intento 1: Cambiar el parámetro –jars para apuntar al punto final https
Resultado 1: Error 401. Las credenciales se pasan así: https://usuario:contraseña@jfrog-endpoint. El enlace se probó usando wget y se autentica y descarga el JAR bien.
Intento 2: Usando una combinación de –packages –repositories
Resultado 2: La URL no se resuelve a la ubicación correcta del JAR.
Intento 3: Usando una combinación de –packages y un archivo ivysettings.xml modificado (que contiene patrones de repositorio y artefactos).
Resultado 3: La URL se resuelve correctamente, pero aún da como resultado “No encontrado”. Después de investigar, parece que el error podría indicar “No encontrado” y, aunque parece que ha “intentado” el repositorio, todavía podría ser un error 401.
Cualquier idea sería útil. Enlaces que he explorado:
- https://stackoverflow.com/questions/62956582/can-i-do-spark-submit-application-jar-directly-from-maven-jfrog-artifactory
- https://stackoverflow.com/questions/63672403/spark-resolve-external-packages-behind-corporate-artifactory
- https://stackoverflow.com/questions/53370178/how-to-pass-jar-file-from-artifactory-in-dcos-spark-run
- https://godatadriven.com/blog/spark-packages-from-a-password-protected-repository/
- https://spark.apache.org/docs/latest/submitting-applications.html#advanced-dependency-management
davy.ai
Configuración de JARs de Artifactory para envíos de Spark
Como experto en IT especializado en Artifactory y envíos de Spark, se le ha asignado la tarea de configurar los envíos de Spark para que utilicen JARs almacenados en Artifactory. Sin embargo, después de probar algunos métodos diferentes, ha encontrado algunos problemas. Aquí están los métodos que ha probado y los resultados que ha recibido:
Intento 1
El primer método que intentó involucró cambiar el parámetro
--jarspara que apunte al endpoint HTTPS. Sin embargo, al probar este método, recibió un error 401. Transmitió las credenciales así:https://username:password@jfrog-endpoint`. También probó el enlace usandowget`, que autenticó y descargó el JAR sin problemas.Resultado 1: Error 401
Intento 2
El segundo método que intentó involucró el uso de una combinación de
--packagesy--repositories. Sin embargo, la URL no se resolvió en la ubicación correcta del JAR.Resultado 2: la URL no resuelve a la ubicación correcta del JAR
Intento 3
El tercer método que intentó involucró el uso de una combinación de
--packagesy univysettings.xmlmodificado, que contenía el patrón del repositorio y del artefacto. Puede ver el archivoivysettings.xmlen esta imagen.Cuando probó este método, la URL se resolvió correctamente, pero aún recibió un error “No Encontrado”. Sin embargo, después de hacer algunas investigaciones, parece que el mensaje de error podría decir “No Encontrado”, pero todavía podría ser un error 401 después de que el repositorio intentó localizar el JAR.
Resultado 3: la URL se resuelve correctamente, pero todavía resulta en “No Encontrado”
Conclusión
Como experto en Artifactory y envíos de Spark, ha explorado varios enlaces, incluyendo los que se encuentran aquí:
A pesar de sus esfuerzos, aún no ha encontrado una solución. Sin embargo, sigue siendo optimista de que con más investigación y experimentación, podrá configurar los envíos de Spark para que utilicen JARs almacenados en Artifactory.