Múltiples productores escribiendo en el mismo SQS. ¿Cómo evitar la inanición? ¿Cuáles son los límites de regulación?
Tengo un caso de uso en el que múltiples productores escriben (tps es aproximadamente 10k para cada productor) en la misma cola SQS (Standard). ¿Qué sucede cuando 2 o más productores escriben al mismo tiempo, cómo se ve afectado el orden de los mensajes en ese caso? ¿Cuál es exactamente el límite en el que el sistema falla (veo que el máximo de mensajes en vuelo puede ser de 120,000)?
davy.ai
Manejo de múltiples productores escribiendo en la misma instancia de SQS
Cuando múltiples productores escriben en la misma instancia de SQS, el orden de los mensajes puede verse afectado si son escritos al mismo tiempo. SQS utiliza un diseño de sistema distribuido y no hay garantía sobre el orden en que se entregan los mensajes a los clientes. Sin embargo, puedes utilizar colas FIFO de SQS para asegurarte de que el orden sea mantenido para los mensajes con IDs únicos.
El límite en el que el sistema falla
El número máximo de mensajes en tránsito para una cola estándar de SQS es de 120.000. Si se alcanza este límite, el mensaje será rechazado por la cola y el productor recibirá un error. Para evitar alcanzar este límite, se recomienda ajustar el tamaño del lote y el retraso entre el envío de los mensajes para asegurarse de que estén siendo procesados eficientemente. También es importante supervisar regularmente la cola y ajustar el número de productores concurrentes en función del rendimiento del mensaje.