Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Utilizando Apache Spark 3, manipulé algunos datos en formato CSV almacenados en un dataframe con la intención de enviarlos a HBase. Los datos se enviaron correctamente utilizando el método bulkPut() de JavaHBaseContext. Sin embargo, al utilizar una consulta simple SELECT en Apache Phoenix, obtengo el mensaje “No se seleccionaron filas”. . . . Read more
Estoy intentando actualizar el código escrito con spark 2.4 y haciendo algunas pruebas con spark 3.2. Soy capaz de crear una sesión de spark: spark = ( SparkSession.builder .config(‘spark.jars.packages’, ‘org.apache.hadoop:hadoop-azure:3.2.0,com.crealytics:spark-excel_2.11:0.13.1’) .config(‘spark.hadoop.fs.azure’, “org.apache.hadoop.fs.azure.NativeAzureFileSystem”) .config(“spark.hadoop.fs.azure.account.key.” + storage_account + “.blob.core.windows.net”, storage_account_key) .config(“spark.driver.memory”, “32G”) .master(“local[*]”) .appName(“Dev”) .getOrCreate() ) spark.sparkContext._jsc.hadoopConfiguration().set(“fs.wasbs.impl”, “org.apache.hadoop.fs.azure.NativeAzureFileSystem”) Pero cuando intento leer . . . Read more