Reducir filas a una estructura de mapa en hsql
Nuevo en hadoop/hive y necesito reducir un conjunto de filas a un tipo de dato de mapa de la siguiente manera; De Col1 Col2 Jeff Smith Steve Brown A Col1 Col2 1 {“Jeff”:”Smith”}, {“Steve”:”Brown”}
Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Nuevo en hadoop/hive y necesito reducir un conjunto de filas a un tipo de dato de mapa de la siguiente manera; De Col1 Col2 Jeff Smith Steve Brown A Col1 Col2 1 {“Jeff”:”Smith”}, {“Steve”:”Brown”}
Cada Hola: Hay una excepción que nunca antes había encontrado, por favor ver a continuación: Exception in thread “main” java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.Utilities.copyTableJobPropertiesToConf(Lorg/apache/hadoop/hive/ql/plan/TableDesc;Lorg/apache/hadoop/conf/Configuration;)V at org.apache.spark.sql.hive.HadoopTableReader$.initializeLocalJobConfFunc(TableReader.scala:399) at org.apache.spark.sql.hive.HadoopTableReader.$anonfun$createOldHadoopRDD$1(TableReader.scala:314) at org.apache.spark.sql.hive.HadoopTableReader.$anonfun$createOldHadoopRDD$1$adapted(TableReader.scala:314) at org.apache.spark.rdd.HadoopRDD.$anonfun$getJobConf$8(HadoopRDD.scala:181) at org.apache.spark.rdd.HadoopRDD.$anonfun$getJobConf$8$adapted(HadoopRDD.scala:181) El código es el siguiente: import org.apache.spark.sql.SparkSession object test { def main(args:Array[String]): Unit = { System.setProperty(“HADOOP<em>USER</em>NAME”, “nuochengze”) val spark: . . . Read more
Tengo una consulta como esta: SELECT MONTH_ID, ‘Total’ AS cola, colb FROM ( SELECT A.*, ROW_NUMBER()OVER(PARTITION BY MONTH_ID,col3 ORDER BY col4 DESC) AS ROWN FROM ( SELECT A.*, B.col3 FROM table1 A LEFT JOIN table2 B ON A.col1 = B.col1 ) A ) WHERE ROWN=1 GROUP BY MONTH_ID Si creo . . . Read more
Estoy intentando comprimir un archivo .bak después de su creación (el tamaño del archivo sin comprimir es de 550 MB) con el siguiente comando: Compress-Archive -Path “F:\backupfolder\mydatabase.bak” -CompressionLevel optimal -DestinationPath “F:\backupfolder\mydatabase.bak.zip” y obtengo este error: $destStream.Write($buffer, 0, $numberOfBytesRead) FullyQualifiedErrorId : OutOfMemoryException El archivo es solo uno y está por debajo . . . Read more
Necesito transferir datos de Hive remoto a Hive local con Spark. Intento conectarme a Hive remoto con el controlador JDBC: ‘org.apache.hive.jdbc.HiveDriver’. Ahora intento leer desde Hive y el resultado son los encabezados de columna en lugar de los datos reales: df = self.spark_session.read.format(‘JDBC’) \ .option(‘url’, ‘jdbc:hive2://{self.host}:{self.port}/{self.database}’) \ .option(‘driver’, ‘org.apache.hive.jdbc.HiveDriver’) \ . . . Read more