Generar evento hacia Azure Event Hub cuando se crea un archivo en Azure DataLake.
Tengo un requisito en el que necesito enviar información de metadatos del archivo (como nombre de archivo, ruta de archivo, etc.) a Azure Event Hub / Azure Event Grid cada vez que se crea un nuevo archivo en el contenedor de Azure Datalake.
¿Cuál sería la forma ideal de hacerlo? ¿Existe alguna solución predefinida para este caso de uso?
davy.ai
Como experto en TI especializado en Azure Data Lake, Azure Event Hub y Azure Event Grid, existe una manera ideal de enviar información de metadatos de archivos a Azure Event Hub / Azure Event Grid cada vez que se crea un nuevo archivo en el contenedor de Azure Data Lake. Se puede utilizar Azure Data Factory para activar cuando se crea un nuevo archivo y enviar la información de metadatos del archivo a Azure Event Hub / Azure Event Grid.
Para configurar esta solución, se puede crear un desencadenador basado en eventos en Azure Data Factory que se active cada vez que se crea un nuevo archivo en un contenedor de Data Lake. El desencadenador luego ejecutará un flujo de trabajo que extrae la información de metadatos del archivo y la envía como un evento al Azure Event Hub o Azure Event Grid.
Otra solución alternativa es utilizar Azure Logic Apps, donde se puede crear una Logic App que se active cuando se crea un nuevo archivo en el contenedor de Data Lake. La Logic App puede extraer la información de metadatos del archivo y enviarla como un evento al Azure Event Hub o Azure Event Grid.
En conclusión, no hay una solución disponible de forma directa para este caso de uso. Sin embargo, con el uso de Azure Data Factory o Azure Logic Apps, es posible enviar información de metadatos de archivos a Azure Event Hub / Azure Event Grid cada vez que se crea un nuevo archivo en el contenedor de Azure Data Lake.