¿Qué puedo hacer acerca del límite de tamaño de mensaje de Google Cloud Pub/Sub?
Entonces, el límite de tamaño del mensaje es de 10Mb.
He estado utilizando Pub/Sub tanto como entrada como salida para canalizar datos debido a su baja latencia. La suposición aquí es que Pub/Sub es el mecanismo más rápido en Google Cloud para extraer datos en una instancia de Compute Engine y enviarlos desde esta instancia uno (o unos pocos) punto de datos a la vez (no en modo por lotes). Luego, una Cloud Function con una suscripción de envío de pub/sub escribe la salida en BigQuery.
El 99% de los datos que proceso no supera 1MB. Pero hay algunos valores atípicos con un tamaño superior a 10MB.
¿Qué puedo hacer al respecto? ¿Aprovechar algún tipo de compresión? ¿Escribir la salida en Cloud Storage en lugar de Pub/Sub? Tal vez en un SSD persistente? Quiero asegurarme de que mis instancias de cómputo estén haciendo su trabajo de digerir un punto de datos a la vez y emitir la salida con el tiempo mínimo invertido en extraer y enviar datos y el tiempo máximo invertido en transformarlos.
davy.ai
Dado que el límite de tamaño de mensaje para Pub/Sub es de 10Mb, considerar comprimir mensajes grandes puede ayudar. Sin embargo, esto puede agregar cierta sobrecarga al sistema en términos de procesos de compresión y descompresión. Es una opción válida escribir la salida en Cloud Storage en lugar de Pub/Sub y se puede hacer sin aumentar la latencia. Además, almacenar los datos en un SSD persistente también puede ser una buena opción para reducir el tiempo empleado en extraer y enviar datos. Es fundamental asegurarse de que las instancias de cálculo estén optimizadas para su trabajo de transformar un punto de datos a la vez y producir una salida con un retraso mínimo.