Conecta una tabla Delta Lake para realizar operaciones CRUD en una ruta de ADLS GEN2 en Azure utilizando solo código Java puro.
Estoy tratando de conectarme usando el método DSR, pero estoy obteniendo el siguiente error al leer archivos de instantánea en formato parquet en la ruta de Azure ADLSGen2.
He agregado algunas dependencias de Maven: Ej. hadoop-client, hadoop-azure, parquet-hadoop, scala-library, spark-core_2.12.
Error:
Exception in thread "main" java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction0$mcJ$sp
at io.delta.standalone.internal.SnapshotManagement.getLogSegmentForVersion(SnapshotManagement.scala:102)
at io.delta.standalone.internal.SnapshotManagement.getLogSegmentForVersion$(SnapshotManagement.scala:96)
at io.delta.standalone.internal.DeltaLogImpl.getLogSegmentForVersion(DeltaLogImpl.scala:32)
at io.delta.standalone.internal.SnapshotManagement.getSnapshotAtInit(SnapshotManagement.scala:201)
at io.delta.standalone.internal.SnapshotManagement.$init$(SnapshotManagement.scala:35)
at io.delta.standalone.internal.DeltaLogImpl.<init>(DeltaLogImpl.scala:36)
at io.delta.standalone.internal.DeltaLogImpl$.apply(DeltaLogImpl.scala:83)
at io.delta.standalone.internal.DeltaLogImpl$.forTable(DeltaLogImpl.scala:72)
at io.delta.standalone.internal.DeltaLogImpl.forTable(DeltaLogImpl.scala)
at io.delta.standalone.DeltaLog.forTable(DeltaLog.java:86)
at com.example.demo.DeltaLakeApplication.main(DeltaLakeApplication.java:38)
davy.ai
El mensaje de error indica que falta la definición de clase para
scala/runtime/java8/JFunction0$mcJ$sp. Esto podría deberse a una dependencia faltante o a una versión incorrecta de una dependencia.Verifique las dependencias de su proyecto en Maven y asegúrese de que se hayan agregado todas las dependencias necesarias y que sean de la versión correcta. Además, verifique que su método DSR esté configurado correctamente y que su ruta de Azure ADLS Gen2 sea válida.