Tag: APACHE-FLINK
¿Es posible cambiar la ubicación de la carpeta de complementos de Apache Flink a una carpeta del entorno de desarrollo local para cargarlos desde el IDE de IntelliJ IDEA? Intenté configurar la variable de entorno en las configuraciones de ejecución/depuración: FLINK_PLUGINS_DIR=”c:\flink-plugins\” println(“PluginsDir ” + PluginConfig.getPluginsDir) La salida es: WARN org.apache.flink.core.plugin.PluginConfig . . . Read more
Tengo una tarea universitaria que requiere que use Apache Flink con muy poca orientación. Estudié algunos ejemplos de código y tengo una idea bastante clara de cómo escribir el código fuente. Pero no puedo, por ninguna razón, lograr compilarlo con éxito. Copié un ejemplo de YouTube solo para ver si . . . Read more
Quiero detener una tarea de Flink mediante una API REST, y envío la solicitud: http://192.168.215.165:8081/jobs/c952ba860604a2c32a7abb9eb5b42b0d/stop, luego obtengo la respuesta: { “request-id”: “29c559399243c817055ebbaf7431a8d2” } Y luego envío la solicitud: http://192.168.215.165:8081/jobs/c952ba860604a2c32a7abb9eb5b42b0d/savepoints/29c559399243c817055ebbaf7431a8d2, obtengo la respuesta (parte de ella): { “status”: { “id”: “COMPLETED” }, “operation”: { “failure-cause”: { “class”: “java.util.concurrent.CompletionException”, “stack-trace”: “java.util.concurrent.CompletionException: org.apache.flink.runtime.checkpoint.CheckpointException: . . . Read more
Soy nuevo trabajando con aplicaciones en tiempo real. Actualmente, estoy utilizando AWS Kinesis/Flink y Scala. Tengo la siguiente arquitectura: old architecture Como puedes ver, consumo un archivo CSV utilizando CSVTableSource. Desafortunadamente, el archivo CSV se volvió demasiado grande para el trabajo de Flink. El archivo se actualiza diariamente, por lo . . . Read more
Soy principiante en Flink streaming. Cuando leo un archivo con RowCsvInputFormat, el código que el serializador Kryo crea para Row no funciona correctamente. El código es el siguiente. val readLocalCsvFile = new RowCsvInputFormat( new Path(“flink-test/000000_1”), Array(Types.STRING, Types.STRING, Types.STRING), “\n”, “,” ) val read = env.readFile( readLocalCsvFile, “flink-test/000000_1”, FileProcessingMode.PROCESS_CONTINUOUSLY, 1000000 ) . . . Read more