Tag: AMAZON-KINESIS-ANALYTICS
Soy nuevo trabajando con aplicaciones en tiempo real. Actualmente, estoy utilizando AWS Kinesis/Flink y Scala. Tengo la siguiente arquitectura: old architecture Como puedes ver, consumo un archivo CSV utilizando CSVTableSource. Desafortunadamente, el archivo CSV se volvió demasiado grande para el trabajo de Flink. El archivo se actualiza diariamente, por lo . . . Read more
Estoy trabajando con la aplicación Kinesis usando Flink 1.11, pero obtengo el siguiente error al iniciar mi aplicación: java.util.concurrent.TimeoutException: El heartbeat del TaskManager con id 421563c271e57acb4592f9d447d45b42 ha excedido el tiempo de espera. at org.apache.flink.runtime.resourcemanager.ResourceManager$TaskManagerHeartbeatListener.notifyHeartbeatTimeout(ResourceManager.java:1202) at org.apache.flink.runtime.heartbeat.HeartbeatMonitorImpl.run(HeartbeatMonitorImpl.java:109) at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515) at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264) at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:402) at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:195) at org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.handleRpcMessage(FencedAkkaRpcActor.java:74) at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:152) at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:26) . . . Read more
Actualmente tenemos una aplicación de AWS Kinesis Data Analytics que requiere un archivo .jar para ejecutarse. Hemos automatizado la implementación de nuestro archivo .jar que se encuentra en un cubo S3. Nuestro problema es que, cada vez que se actualiza el archivo .jar, nos vemos obligados a reiniciar la aplicación . . . Read more
Necesito ejecutar una aplicación de KDA usando una regla de EventBridge, ¿es posible?
En la aplicación de AWS Kinesis Data Analytics, se integró la aplicación Apache Flink. En el panel de control de Apache Flink, el recuento de gestionadores de tareas es de 2, pero es necesario agregar 2 gestores de tareas más en Apache Flink para mejorar el rendimiento. ¿Cómo podemos agregar . . . Read more