Tag: FLINK-STREAMING
Seguí (https://stackoverflow.com/questions/49122170/zip-compressed-input-for-apache-flink?newreg=4dce460b71504a16ab651b171da287de) y escribí el siguiente fragmento de código para procesar archivos de registro .gz en un directorio con un simple TextInputFormat. Funciona en mi directorio de prueba local, escanea y abre automáticamente el contenido del archivo .gz. Sin embargo, cuando lo ejecuto con una fuente de cubo de S3, . . . Read more
Tengo un objeto Row de Flink y nombres de columnas. Este objeto Row puede ser accedido mediante nombres de campo o índice. Quiero enviarlo a Kafka en formato JSON utilizando el productor de Kafka vanilla de Flink. ¿Cómo puedo hacerlo? ¿Se requiere un esquema JSON de destino para enviarlo a . . . Read more
Digamos que tengo una función de proceso como esta (con un estado de backend de rocksdb): public class Test extends KeyedProcessFunction<…>{ private transient ValueState<integer> …; … @Override public void open(Configuration parameters) throws Exception { StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.minutes(10)) .setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite) .setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired) .cleanupInRocksdbCompactFilter(1000) .build(); ValueStateDescriptor<integer> testDescr = new ValueStateDescriptor<integer>( “test”, TypeInformation.of(Integer.class) . . . Read more
Estoy tratando de construir un sistema con procesamiento de transmisión en tiempo real con Flink, teniendo S3 como origen y Elastic como destino. He probado 4 casos en total para los puntos de control. Exactly_Once con puntos de control alineados. Exactly_Once con puntos de control desalineados. AtLeastOnce con un máximo . . . Read more
Cuando aplico el método countWindow a un KeyedStream, obtengo una GlobalWindow y no un CountWindow. ¿Alguien sabe por qué? No puedo encontrar nada en la documentación de Flink. ¡Gracias! java WindowedStream<share, string,=”” globalwindow=””> windowedStream2 = keyed.countWindow(100, 10);</share,>