Tag: BIGDATA
Si tengo una tabla de datos de uso de ventanas en Windows como StartTime | EndTime | Window | Value que registra un historial de uso de ventanas, ¿cómo podemos analizar estos datos para obtener algunos patrones repetitivos, por ejemplo, wnd1->wnd2->wnd3 (conjunto de registros que se ejecutan consistentemente, el conjunto . . . Read more
Estoy tratando de cambiar varios columnas en una tabla externa de HIVE de double a decimal. He eliminado, recreado la tabla, y ejecutado la instrucción msck repair. Sin embargo, no puedo seleccionar la tabla ni desde Hive ni desde Impala, ya que devuelve estos errores: Hive: ERROR procesando la consulta/instrucción. . . . Read more
Tengo esta aplicación en la que proceso un archivo muy grande, extraigo las líneas que tienen los mismos primeros 5 caracteres (a esto lo llamo currentlineId), las uso para crear un objeto y hacer algo con él, por ejemplo, un ejemplo del contenido del archivo: AZDFS12345678998765432345678 AZDFS09876545432345678987654 AZDFS34568987654567890987654 AZDFS12345670987654345678998 AZDFS12345098734567765123456 . . . Read more
Tenemos un clúster en Cloudera. Estamos utilizando instantáneas para respaldar el HDFS. Recientemente, hemos observado que el espacio utilizado en HDFS ha estado creciendo significativamente. Sospechamos que esto se debe a las instantáneas que utilizamos para las copias de seguridad. Cuando intentamos ver el tamaño de un directorio, vemos lo . . . Read more
Tengo una muestra de más de 50 millones de observaciones. Estimo el siguiente modelo en R: model1 <- feglm(rejection~ variable1+ variable1^2 + variable2+ variable3+ variable4 | city_fixed_effects + year_fixed_effects, family=binomial(link=”logit”), data=database) Basado en las estimaciones del modelo1, calculo los efectos marginales: mfx2 <- marginaleffects(model1) summary(mfx2) Esta línea de código también . . . Read more