Tag: FLINK-STREAMING
Una continuación de esto: https://stackoverflow.com/questions/69795679/flink-handling-keyed-streams-with-data-older-than-application-watermark Basado en la sugerencia, he estado tratando de agregar soporte para Batch en la misma aplicación Flink que estaba usando las API de Datastream. La lógica es algo así: streamExecutionEnvironment.setRuntimeMode(RuntimeExecutionMode.BATCH); streamExecutionEnvironment.readTextFile(“nombreDeArchivo”) .process(function de proceso que transforma la entrada) .assignTimestampsAndWatermarks(WatermarkStrategy .forBoundedOutOfOrderness(orderness) .withTimestampAssigner( (SerializableTimestampAssigner) (event, l) -> . . . Read more
Tengo un clúster con varios administradores de tareas. Cada administrador de tareas (1 ranura de tarea por TM) ejecuta un tipo diferente de trabajo. Tengo un trabajo en particular que consiste en etapas, que se ejecuta en 1 administrador de tareas (no hay reequilibrado, por lo que el optimizador de . . . Read more
¿Perderá Flink algunos de los Antiguos Estados Clave al cambiar la paralelización, por ejemplo, de 2 a 5 o de 5 a 3?
Soy un traductor de documentos de TI y traduciré lo siguiente al español. No traduzcas el código y la salida en markdown. Soy un entusiasta principiante de kafka y flink. He notado algo preocupante. Cuando aumento la paralelización de un trabajo de kafka a cualquier valor superior a 1, no . . . Read more
Tengo un Datastream que contiene algunos campos como event_id, timestamp, etc. que permanecen constantes para muchos registros en la pipeline. Quiero usarlos en el nombre del archivo mientras lo escribo de nuevo en ParquetFormat usando StreamingFileSink. Podemos usar sufijos y prefijos si estamos utilizando constantes. Sin embargo, necesitaba ayuda para . . . Read more