Tag: APACHE-FLINK
Me pregunto cuánto estado utiliza Apache Flink para consultas Top-N y tablas en general. Primero, estoy utilizando Flink SQL para procesar mensajes de un tema de Kafka: CREATE TABLE purchases ( country STRING, product STRING ) WITH ( ‘connector’ = ‘kafka’, ‘topic’ = ‘purchases’, ‘properties.bootstrap.servers’ = ‘kafka:29092’, ‘value.format’ = ‘json’, . . . Read more
¿Por qué divide flink la tubería en varios trabajos si hay un execute_insert en la tubería? docker-compose exec jobmanager ./bin/flink run –pyModule my.main -d –pyFiles /opt/pyflink/ -d Se ha enviado el trabajo con el ID de trabajo 3b0e179dad500a362525f23e82e2c826 Se ha enviado el trabajo con el ID de trabajo 93d122a6331b4b9ec2578fe67e748a8e Fin . . . Read more
Intenté enviar una tarea de Flink que ya estaba empaquetada en un archivo JAR. Básicamente, consume un tema de Kafka protegido por autenticación SASL, por lo que requiere un archivo .jks, que ya los incluyo en el JAR y los leo en el código de la siguiente manera: try(InputStream resourceStream . . . Read more
Estoy ejecutando un trabajo de Flink en modo de implementación independiente que utiliza Java DJL para cargar un modelo de PyTorch. El modelo se carga correctamente y puedo cancelar el trabajo a través de la API de Flink Rest. Sin embargo, cuando intento lanzar el trabajo de Flink nuevamente, muestra . . . Read more
Tengo una tabla de flink, digamos CREATE TABLE source(id int, name string) with (…) y una tabla de destino, digamos CREATE TABLE destination(id int, unique_name string) with (…). El campo unique_name se calcula utilizando lógica empresarial en la función de proceso interna de flink. Por lo tanto, podemos asumir de . . . Read more