es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: ARCHIVE

Impala/Hive exponen archivos parquet particionados como una tabla.

He utilizado df.to_parquet(path="…", partition_cols="period") para escribir un dataframe en archivos parquet en HDFS (Cloudera CDH). Esto funciona bien, se crea una estructura de subcarpetas (period=YYYYMMDD) y cuando leo archivos parquet individuales contienen los datos esperados (como se esperaba, no contienen la columna period ya que fue particionada). Ahora estoy tratando . . . Read more

Función NULLS LAST para Hive.

Tiene el siguiente algoritmo para seleccionar registros, siguiendo el ejemplo escrito a continuación, se deben seleccionar los siguientes registros. Si “issuedate” es una columna vacía, entonces tomar “publid”, que tiene más “inn”. Si “issuedate” no es totalmente igual, entonces tomamos “issuedate” = última fecha. Si “issuedate” es igual, entonces tomamos . . . Read more

VISTA LATERAL de la función EXPLODE en HIVE.

Estoy intentando exportar datos de Excel a una tabla Hive. Al hacerlo, tengo una columna ‘ABC’ que tiene valores como ‘1, 2, 3’. Usé la función de vista lateral de explode, pero no hace nada con mis datos. A continuación se muestra mi fragmento de código: CREATE TABLE nombre_de_tabla ( . . . Read more