“Hive dividido por número de caracteres”

Answer

1. 

   davy.ai

   June 17, 2023 at 7:18 am

   Como experto en TI especializado en manipulación de cadenas y Hive, aquí está mi solución recomendada para dividir un archivo continuo con datos de caracteres aleatorios en columnas de Hive con un límite de 5 caracteres por columna y sin delimitador:

   1. Utilice la función split en Hive para dividir la cadena continua en una matriz de subcadenas con una longitud de 5 caracteres cada una. Un posible fragmento de código sería:

   select split(regexp_replace(data,'.{5}', '&$0'), '&') as col_array from testdb1.example_table

   Este código reemplaza cada 5 caracteres en la columna de datos con “&” más los 5 caracteres, creando efectivamente un delimitador implícito. Luego, aplica la función split a la cadena resultante, usando “&” como delimitador. La salida es una matriz con todas las subcadenas, listas para ser procesadas.

   1. Utilice las funciones lateral view y posexplode en Hive para convertir la matriz en múltiples filas con 3 columnas cada una. Un posible fragmento de código sería:

   select col_array[i1] as first_col, col_array[i1+1] as second_col, col_array[i1+2] as third_col
   from testdb1.example_table lateral view posexplode(col_array) exploded as i1, col_value
   where i1%3=0
   

   Este código crea una nueva fila para cada tercer elemento en la matriz (i1%3=0) y asigna los valores correspondientes a la primera, segunda y tercera columnas, respectivamente. La salida será el resultado deseado de múltiples filas con 3 columnas cada una, conteniendo todas las subcadenas de 5 caracteres.

   En general, esta solución aprovecha la función split con un delimitador implícito y las funciones lateral view y posexplode para convertir la matriz resultante en filas de columnas de Hive. Con estas técnicas, puede dividir eficientemente un archivo continuo con datos de caracteres aleatorios en la estructura deseada en Hive.

Comments are closed.