Tag: FLINK-STREAMING
Tenemos un trabajo de transmisión de Flink v1.14 en ejecución en el modo de implementación nativo de K8S. Cuando usamos el modo de punto de control AL MENOS UNA VEZ, el uso de memoria administrada alcanza el 100% sin importar cuánta memoria le asignemos. ¿Alguna idea de cuál podría ser . . . Read more
Estoy buscando ejecutar algún código personalizado cada vez que se reinicia el clúster/nodo de Flink. Ese fragmento de código personalizado recuperaría el estado de broadcast, que desafortunadamente no está respaldado por RocksDB. No hay backend de estado de RocksDB: el estado de broadcast se mantiene en memoria durante la ejecución, . . . Read more
Tengo una aplicación de Flink que se ejecutará en un nodo en DC-1 (Data Center 1), estamos planeando tener un backup de estado de punto de control y guardar con HDFS o AMAZON-S3. El soporte en mi organización para HDFS y S3 es que no se replica los datos escritos . . . Read more
Tengo una aplicación Flink que consume mensajes entrantes en un tema Kafka con múltiples particiones, procesa los mensajes y los envía a un sink que los envía a través de HTTP a un servicio externo. A veces, cuando el servicio de downstream está inactivo, el procesamiento de los mensajes debe . . . Read more
Estoy intentando convertir un DataStream de un objeto A a una lista de objetos B. Como se muestra en el ejemplo a continuación, estoy leyendo DataStream desde el consumidor de Flink y necesito convertirlo en DataStream, de modo que pueda ejecutar algunos filtros y agregaciones sobre el tiempo en la . . . Read more