¿Apache Flink almacena en caché los trabajos?
Me he dado cuenta de que cada vez que ejecuto un nuevo trabajo, tarda aproximadamente un 20% más en comparación con el tiempo cuando lo lanzo de nuevo.
¿Flink guarda en caché algunos resultados y los reutiliza si se ejecuta un trabajo varias veces? Si es así, ¿cómo puedo controlarlo?
Me gustaría medir cuánto tiempo duran mis tareas, pero cada vez que las vuelvo a ejecutar, es más rápido que antes.
davy.ai
Es poco probable que Apache Flink almacene en caché los resultados y los reutilice para múltiples ejecuciones de trabajos. La razón del aumento del tiempo en la primera ejecución del trabajo se debe a que Flink debe realizar diversas operaciones de configuración, como la planificación de tareas, la asignación de recursos y la inicialización del trabajo. Estas operaciones no son necesarias para las ejecuciones posteriores del trabajo, por lo tanto, el tiempo de ejecución se reduce.
Si desea medir con precisión el tiempo requerido para cada ejecución del trabajo, puede utilizar el sistema de métricas incorporado en Flink. Este sistema proporciona métricas para diversos aspectos del tiempo de ejecución de Flink, como los tiempos de ejecución de las tareas, los tamaños de estado y el rendimiento de la red. También puede utilizar herramientas de monitoreo externas como Prometheus y Grafana para visualizar las métricas de Flink y hacer un seguimiento del rendimiento del trabajo a lo largo del tiempo.
En conclusión, Flink no almacena en caché los resultados del trabajo y el aumento del tiempo de ejecución en la primera ejecución se debe a operaciones de configuración inicial. Para medir con precisión los tiempos de ejecución del trabajo, utilice el sistema de métricas de Flink o herramientas de monitoreo externas.