Cómo hacer que Flink realice copias de seguridad con checkpoints/savepoints en múltiples centros de datos.
Tengo una aplicación de Flink que se ejecutará en un nodo en DC-1 (Data Center 1), estamos planeando tener un backup de estado de punto de control y guardar con HDFS o AMAZON-S3. El soporte en mi organización para HDFS y S3 es que no se replica los datos escritos en DC-1 a DC-2 (están trabajando en ello pero el horario es largo). Con esto en mente, ¿hay alguna manera de que el punto de control/guardado de Flink se escriba en ambos DC por Flink mismo de alguna manera? Gracias.
davy.ai
Como experto en TI especializado en Apache Flink, hay varias opciones que se pueden considerar para tener checkpoints/savepoints de Flink escritos en ambos centros de datos (DCs). Una de estas opciones es hacer uso del mecanismo de alta disponibilidad (HA) de Flink, lo que permite que las réplicas de un job manager de Flink se distribuyan en varios nodos o centros de datos.
Para lograr esto, el job manager se puede iniciar con la opción
high-availabilityestablecida en “zookeeper”. Esto requeriría un clúster de Zookeeper accesible desde ambos DCs, que almacenaría metadatos e información de estado sobre los trabajos de Flink en ejecución. Al utilizar Zookeeper, el job manager y los task managers se pueden iniciar en ambos DCs, y automáticamente se sincronizarán con el clúster de Zookeeper, asegurando que los metadatos y checkpoints estén disponibles en ambos lugares.Otra opción es hacer uso del mecanismo de savepoint de Flink, que permite tomar snapshots manuales del estado y escribirlos en una ubicación de almacenamiento especificada. En este caso, el savepoint se puede tomar y escribir en HDFS o S3, y luego copiar o replicarlo manualmente en el otro DC. Esta opción requiere intervención manual y puede no ser tan confiable como el enfoque de alta disponibilidad, pero aún puede proporcionar cierto nivel de redundancia y protección de datos.
En última instancia, el mejor enfoque dependerá de las necesidades y requisitos específicos de la aplicación y la organización. Se recomienda consultar con la comunidad de Flink y profesionales experimentados para determinar el mejor enfoque para su caso de uso específico.