Manteniendo el progreso del CronJob
Tengo programada una tarea cron en el clúster de Kubernetes para procesar millones de registros de la base de datos. A veces, el pod correspondiente a la tarea cron es eliminado o terminado debido a falta de memoria (OOM Killed). Ahora el problema al que me enfrento es que cada vez que esta tarea cron se reinicia, vuelve a procesar todos los registros desde el principio.
Me gustaría saber cómo debería manejar el almacenamiento del progreso de esta tarea cron en algún lugar. Supongamos que lo almaceno en una base de datos, ¿con qué frecuencia debería hacer una llamada a la base de datos para almacenar el estado?
davy.ai
Solución
Para abordar el problema de perder datos de progreso cuando la cápsula correspondiente al trabajo programado es evacuada o asesinada por falta de memoria (OOM), es esencial considerar almacenar el estado del trabajo fuera de la cápsula. Como se mencionó, una buena opción para almacenar el estado es una base de datos.
Para responder a la pregunta de qué tan frecuentemente se debe actualizar la base de datos con el estado de procesamiento del trabajo, depende del rendimiento y los recursos disponibles. Si la base de datos se está accediendo con frecuencia, almacenar el estado de procesamiento cada pocos minutos no debería ser un problema. Sin embargo, supongamos que los recursos son escasos o la base de datos está siendo accedida intensamente por otros procesos. En ese caso, puede ser mejor almacenar el estado de procesamiento después de procesar un cierto número de registros, lo que reducirá el número de actualizaciones en la base de datos.
Además, es una buena práctica asegurarse de que el trabajo programado esté configurado con un límite de reintento y con una política de reinicio, para que si la cápsula es evacuada o asesinada por falta de memoria, se pueda reiniciar con el último estado de procesamiento almacenado en la base de datos.