Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Quiero una consulta que muestre la diferencia de tiempo en meses o días en Impala. ¿Cómo puedo hacer esto? inicio 2017-11-29 19:45:00 – fin 2018-11-29 21:30:00 Sé que month_between y datediff muestran el mes de diferencia pero, ¿cómo hago para que también tome en cuenta el año al contar los . . . Read more
Soy un principiante en Spark. ¿Puedo tener 2 trabajos de Spark que utilicen un solo almacenamiento HDFS/S3 al mismo tiempo? Un trabajo se encargará de escribir los datos más recientes en S3/HDFS y el otro los leerá junto con los datos de entrada de otra fuente para su análisis.
Soy nuevo en el campo de la ingeniería de datos y actualmente estoy aprendiendo sobre el sistema de archivos de Hadoop y sus usos. Quiero ejecutar algunos comandos de Hadoop desde mi script de Python para que se ejecuten en secuencia todos los comandos de hdfs. Las tareas que quiero . . . Read more
Estoy tratando de iniciar Hive en mi sistema Linux. Da el siguiente error: Excepción en el subproceso “main” java.lang.ExceptionInInitializerError at org.apache.hadoop.hive.ql.plan.TableDesc.setProperties(TableDesc.java:133) at org.apache.hadoop.hive.ql.plan.TableDesc.<init>(TableDesc.java:71) at org.apache.hadoop.hive.ql.plan.PlanUtils.getDefaultTableDesc(PlanUtils.java:458) at org.apache.hadoop.hive.ql.exec.Utilities.<clinit>(Utilities.java:681) at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:709) at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:654) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:586) at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:553) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:750) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:686) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:77) at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.base/java.lang.reflect.Method.invoke(Method.java:568) at org.apache.hadoop.util.RunJar.run(RunJar.java:323) . . . Read more
Disculpas de antemano si resulta ser una pregunta tonta, soy nuevo en el entorno de Hadoop. Tengo dos clústeres de Hadoop, mi clúster de producción “my-prod-cluster” y mi clúster de BCP “my-bcp-cluster”. Ambos son accesibles a través de la misma red. ¿Hay alguna manera de configurar mis clústeres de tal . . . Read more