Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo un caso de uso en el que ejecuto algunos cálculos en una parte de los datos y estos cálculos dependen del contexto (estado intermedio). Por ejemplo: tengo algunas órdenes y realizo algunos cálculos en ellas. Los cálculos se realizan para las órdenes agrupadas por el campo de símbolo. class . . . Read more
Quiero transmitir eventos entrantes desde un flujo después de cierto retraso. Este es el código del operador Flink que hace eso: class MessageDelayFunction[T](schedulingDelay: Int, timeUnit: TimeUnit) extends RichAsyncFunction[T, T] { // use guava’s executor for periodic execution private var scheduledThreadPoolExecutor: ScheduledThreadPoolExecutor = _ private var executorService: ListeningScheduledExecutorService = _ override . . . Read more
Tengo una fuente personalizada que genera algunos eventos cada x minutos. He consultado este archivo (https://github.com/apache/flink/blob/master/flink-end-to-end-tests/flink-cli-test/src/main/java/org/apache/flink/streaming/tests/PeriodicStreamingJob.java) y mi código es algo similar a esto: public class PeriodicSourceGenerator extends RichParallelSourceFunction<genericmetric> { private transient AtomicBoolean isRunning; @Override public void open(final Configuration c) throws Exception { isRunning = new AtomicBoolean(true); } @Override public . . . Read more
Si tengo un trabajo de flink simple con 2 estados clave, digamos Estado1 y Estado2. El trabajo está configurado con el backend de rocksDB. Cada uno de los estados contiene 10GB de datos. Si actualizo el código para que uno de los estados no se utilice (se elimina el descriptor . . . Read more
Utilizo el conector de flujo de datos KafkaSource y la función HbaseSinkFunction para consumir datos de Kafka y escribirlos en HBase. Habilito el punto de control de esta forma: env.enableCheckpointing(3000,CheckpointingMode.EXACTLY_ONCE); Los datos en Kafka ya se han escrito correctamente en HBase, pero el estado de los puntos de control en . . . Read more