Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Actualmente estamos utilizando flink 1.12 en modo de alta disponibilidad en producción. Hay 3 gestores de trabajos (1 líder y 2 en espera). Cuando subo un archivo JAR en uno de los gestores de trabajos, de alguna manera no se refleja en los demás gestores de trabajos. ¿Existe alguna forma . . . Read more
Tengo una ejecución de transmisión configurada como object FlinkSlidingEventTimeExample extends App { case class Trx(timestamp:Long, id:String, trx:String, count:Int) val env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI() val watermarkS1 = WatermarkStrategy .forBoundedOutOfOrderness[Trx](Duration.ofSeconds(15)) .withTimestampAssigner(new SerializableTimestampAssigner[Trx] { override def extractTimestamp(element: Trx, recordTimestamp: Long): Long = element.timestamp }) val s1 = env.socketTextStream(“localhost”, 9999) .flatMap(l => l.split(” “)) .map(l . . . Read more
Utilizo el conector de flujo de datos KafkaSource y la función HbaseSinkFunction para consumir datos de Kafka y escribirlos en HBase. Habilito el punto de control de esta forma: env.enableCheckpointing(3000,CheckpointingMode.EXACTLY_ONCE); Los datos en Kafka ya se han escrito correctamente en HBase, pero el estado de los puntos de control en . . . Read more
Hola, estoy planeando usar Flink como backend para mi función en la que mostraremos una interfaz de usuario al usuario para crear patrones de eventos de forma gráfica, por ejemplo: múltiples intentos de inicio de sesión fallidos desde la misma dirección IP. Crearemos el patrón de Flink programáticamente utilizando los . . . Read more
En este momento tenemos un trabajo flink en ejecución que contiene estados clave cuyo paralelismo máximo está establecido en 128. A medida que nuestros datos crecen, nos preocupa que 128 ya no sea suficiente en el futuro. Quiero saber si hay alguna forma de cambiar el paralelismo máximo modificando el . . . Read more