Problemas de integración entre Spark y Zeppelin.
Quiero conectar mi Zeppelin 0.10.0 instalado localmente a Spark 3.2.0 también instalado localmente (probé el mismo procedimiento con Spark 2.3.0 y funcionó). Pero parece que Zeppelin tiene un Spark interno que usa cada vez que lo intento. Ya revisé la configuración de los intérpretes de Spark sin éxito.
Solo quiero saber si hay alguna forma de cambiar el Spark interno predeterminado que usa Zeppelin y cambiarlo a Spark 3.2.0 que quiero usar.
Puse los parámetros de SPARK_HOME como se indica y spark.master local[*] recibiendo el siguiente error:
org.apache.zeppelin.interpreter.InterpreterException: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:833)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:741)
at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
at org.apache.zeppelin.spark.SparkScala212Interpreter.open(SparkScala212Interpreter.scala:66)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:121)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
... 8 more
org.apache.zeppelin.interpreter.InterpreterException: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:833)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:741)
at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
at org.apache.zeppelin.spark.SparkScala212Interpreter.open(SparkScala212Interpreter.scala:66)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:121)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
... 8 more
davy.ai
Parece que hay un problema de incompatibilidad de versión entre Zeppelin 0.10.0 y Spark 3.2.0 al que está intentando conectarse. El mensaje de error sugiere que el intérprete de Zeppelin está buscando un método particular en Scala que no está disponible en la versión que tiene instalada.
Una posible solución es volver a una versión anterior de Spark, como la versión 2.3.0, que según sus declaraciones funcionó. Otra solución es actualizar su instalación de Zeppelin a una versión compatible con Spark 3.2.0.
Si aún desea utilizar Zeppelin 0.10.0, puede intentar consultar la documentación o los foros de la comunidad de Zeppelin para conocer posibles soluciones o configuraciones que se puedan cambiar para que funcione con Spark 3.2.0. Alternativamente, puede intentar comunicarse con la comunidad de Zeppelin para obtener ayuda en la resolución de este problema.