es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: BIGDATA

Algoritmo de Procesamiento de Eventos

Si tengo una tabla de datos de uso de ventanas en Windows como StartTime | EndTime | Window | Value que registra un historial de uso de ventanas, ¿cómo podemos analizar estos datos para obtener algunos patrones repetitivos, por ejemplo, wnd1->wnd2->wnd3 (conjunto de registros que se ejecutan consistentemente, el conjunto . . . Read more

Spring Boot java: Procesar/Comparar líneas de un archivo muy grande.

Tengo esta aplicación en la que proceso un archivo muy grande, extraigo las líneas que tienen los mismos primeros 5 caracteres (a esto lo llamo currentlineId), las uso para crear un objeto y hacer algo con él, por ejemplo, un ejemplo del contenido del archivo: AZDFS12345678998765432345678 AZDFS09876545432345678987654 AZDFS34568987654567890987654 AZDFS12345670987654345678998 AZDFS12345098734567765123456 . . . Read more

Múltiples instantáneas en un directorio

Tenemos un clúster en Cloudera. Estamos utilizando instantáneas para respaldar el HDFS. Recientemente, hemos observado que el espacio utilizado en HDFS ha estado creciendo significativamente. Sospechamos que esto se debe a las instantáneas que utilizamos para las copias de seguridad. Cuando intentamos ver el tamaño de un directorio, vemos lo . . . Read more

Cómo calcular los efectos marginales del modelo logit con efectos fijos utilizando una muestra de más de 50 millones de observaciones.

Tengo una muestra de más de 50 millones de observaciones. Estimo el siguiente modelo en R: model1 <- feglm(rejection~ variable1+ variable1^2 + variable2+ variable3+ variable4 | city_fixed_effects + year_fixed_effects, family=binomial(link=”logit”), data=database) Basado en las estimaciones del modelo1, calculo los efectos marginales: mfx2 <- marginaleffects(model1) summary(mfx2) Esta línea de código también . . . Read more