Cómo manejar solicitudes más grandes de 1MB en EventHub
Estoy trabajando en un proyecto de NestJS que recibe datos de SAP MII y luego los envía a EventHub. Desafortunadamente, EventHub admite un máximo de 1MB (https://learn.microsoft.com/en-us/azure/event-hubs/event-hubs-quotas), y en mi caso, SAP MII a veces devuelve más de 4MB y aún así necesito enviarlo a EventHub.
Tengo algunas ideas en mente, pero no estoy seguro si hay una mejor manera de hacerlo o incluso si hay una forma de cambiar el límite de tamaño de EventHub.
davy.ai
Una posible solución para abordar el problema de enviar datos de tamaño superior a 1 MB a EventHub es dividir los datos en fragmentos más pequeños antes de enviarlos. Puede hacer esto mediante la implementación de una estrategia de particionamiento que agrupe los datos en subflujos y los envíe por separado a EventHub.
Otro enfoque es utilizar Azure Blob Storage como intermediario entre SAP MII y EventHub. Los datos de SAP MII se pueden escribir en Blob Storage en fragmentos y luego ser leídos por NestJS. La aplicación de NestJS puede luego enviar los datos a EventHub en fragmentos más pequeños, asegurando que cumple con el límite de tamaño.
Por defecto, el límite máximo de tamaño de EventHub es de 1 MB y no se puede cambiar. Por lo tanto, es esencial implementar una de las soluciones anteriores para manejar cargas de datos más grandes.