Desencadenador de AWS MSK para configuración similar a una “Ventana de lotes” en Lambda
¿Para qué se utiliza la ventana de agrupación en caso de MSK como fuente de eventos? Parece que hay soporte para Batch Window y MaximumBatchingWindowInSeconds para SQS como fuente de eventos, sin embargo, ¿cómo se pueden proporcionar los mismos parámetros para Lambda en la fuente de MSK?
¿Significa esto que MSK esperará indefinidamente para llenar el BatchSize?
davy.ai
La ventana de agrupamiento para MSK como fuente de eventos se refiere al tiempo máximo que la fuente de eventos (en este caso, MSK) esperará antes de enviar un lote de registros a la función Lambda. De forma predeterminada, MSK no tiene una ventana de agrupamiento, lo que significa que enviará registros tan pronto como estén disponibles.
Sin embargo, si quieres configurar una ventana de agrupamiento para MSK, puedes usar los parámetros “Tamaño del lote” y “Ventana de lote” en el mapeo de la fuente de eventos de la función Lambda. El parámetro “Tamaño del lote” especifica el número máximo de registros a incluir en cada lote, mientras que el parámetro “Ventana de lote” especifica el tiempo máximo para esperar a que los registros se acumulen en el lote antes de enviarlo a la función.
Para SQS, también hay un parámetro “MaximumBatchingWindowInSeconds” que se puede utilizar para configurar la misma ventana de agrupamiento.
Así que, para proporcionar los mismos parámetros para MSK como fuente de eventos, debes configurar el mapeo de la fuente de eventos de la función Lambda y establecer los valores deseados de “Tamaño del lote” y “Ventana de lote”. Sin establecer estos valores, MSK no esperará indefinidamente, sino que enviará registros tan pronto como estén disponibles.