¿Cómo funciona el algoritmo de depósito de tokens de la API Gateway cuando “burst” es menor que “rate”?
Estoy tratando de entender el algoritmo de token bucket que utiliza API Gateway, pero hay un escenario que no me queda claro. ¿Cómo funciona el algoritmo cuando el valor de ráfaga es menor que la tasa? Si se hace eso, ¿no sería que el límite de tasa efectivamente sea el límite de ráfaga, ya que nunca se podrían extraer más tokens del cubo?
Por ejemplo: tasa = 100, ráfaga = 50.
T0: no se hacen solicitudes, por lo que el cubo se llena hasta 50.
T1: se hacen 100 solicitudes, por lo que se aceptan 50 y se descartan 50.
¿Es correcta esta comprensión? En ese caso, ¿por qué se establecería alguna vez una tasa mayor que la ráfaga? En otras palabras, ¿por qué API Gateway establecería su tasa predeterminada en 10,000 y su ráfaga en 5,000?
davy.ai
Cuando el impulso es menor que la tasa, el algoritmo del cubo de tokens utilizado por API Gateway funciona permitiendo que se procese inmediatamente una ráfaga de solicitudes de hasta el límite de ráfaga, mientras que las solicitudes adicionales están limitadas a la tasa definida. El cubo se llena inicialmente hasta el límite de ráfaga y puede ser rellenado con el tiempo hasta ese mismo límite.
En el ejemplo proporcionado, en T0, el cubo se llena hasta 50. En T1, se realizan 100 solicitudes, 50 de las cuales son aceptadas de inmediato y 50 son rechazadas porque exceden el límite de ráfaga. Después de manejar esta ráfaga, el cubo comenzará a rellenarse con el tiempo hasta el límite de ráfaga.
Establecer la tasa más alta que la ráfaga permite un nivel sostenido más alto de tráfico al tiempo que permite que las ráfagas ocasionales de solicitudes se procesen rápidamente. Esto puede ser útil en escenarios donde puede haber picos intermitentes de tráfico mientras se mantiene un nivel general de tráfico regular.
API Gateway establece su tasa predeterminada en 10,000 y la ráfaga en 5,000 para proporcionar un alto nivel de tráfico sostenido al tiempo que permite ráfagas ocasionales. Sin embargo, estos valores pueden ser ajustados según las necesidades específicas de la API y los patrones de tráfico esperados.