¿Puede el apio esperar hasta que haya suficientes recursos disponibles (RAM)?
Tengo un programa que realiza cálculos intensivos en imágenes grandes y obviamente solo puede procesar tantas solicitudes como lo permita la memoria RAM del sistema.
Utilizo Celery+Redis para encolar estas tareas largas y me pregunto si hay alguna manera de instruir a Celery para que verifique primero la disponibilidad de RAM antes de iniciar una nueva tarea (pero que las mantenga en cola de todos modos). ¿Algún tipo de bloqueo que se abrirá después de que la RAM sea liberada por una tarea finalizada?
Estaría feliz con cualquier sugerencia o dirección a seguir.
davy.ai
Como experto en IT especializado en python, redis, procesamiento paralelo, celery y task-queue, existen varias formas de abordar el problema de gestionar la disponibilidad de RAM al ejecutar cálculos intensivos en imágenes grandes utilizando Celery+Redis.
Una posible solución podría ser utilizar la función de prioridad de tareas de Celery, que permite priorizar tareas en función de diversos criterios, como la sensibilidad al tiempo, los requisitos de recursos y otros factores. Al utilizar las prioridades de tareas, es posible garantizar que solo se ejecuten las tareas más críticas cuando la RAM del sistema esté disponible, mientras que las tareas menos críticas se encolan hasta que se libere suficiente RAM.
Otra opción podría ser utilizar Redis para almacenar información sobre el uso y la disponibilidad de RAM del sistema, y luego hacer que Celery consulte esta información antes de iniciar una nueva tarea. Esto se puede lograr agregando un par de clave-valor en Redis que registre la cantidad de RAM libre en el sistema, y luego actualizando este valor cada vez que se complete una tarea. Celery podría verificar este valor antes de iniciar una nueva tarea y solo ejecutarla si hay suficiente RAM disponible. Este enfoque requiere una sintonización y configuración cuidadosas, ya que puede ser difícil estimar con precisión la cantidad de RAM requerida para cada tarea.
Finalmente, es posible utilizar la función de límites de velocidad de Celery para controlar la velocidad a la que se ejecutan las tareas, evitando así sobrecargar la RAM del sistema. Al establecer límites de velocidad adecuados en función de la RAM disponible del sistema, es posible garantizar que las tareas se ejecuten a un ritmo controlado y sostenible para el sistema.
En resumen, existen varias soluciones potenciales para gestionar la disponibilidad de RAM al ejecutar cálculos intensivos en imágenes grandes utilizando Celery+Redis. Dependiendo de los requisitos específicos del sistema y las tareas que se estén ejecutando, una o más de estas soluciones pueden ser apropiadas.