Cómo cargar datos JSON desde el almacenamiento de bloques de Azure en Kafka.
Quiero cargar datos JSON desde el almacenamiento de blobs de Azure en Apache Kafka para luego cargarlos en otra base de datos. Intenté utilizar el Conector de origen de almacenamiento de blobs de Azure sin escribir ningún código en Python, pero creo que tendrás que escribir en el blob usando el conector de destino antes de leer el conector de origen si no me equivoco. ¿Cuál es la mejor manera de cargar los datos JSON en Kafka? Mi requisito es que Kafka escuche continuamente los archivos que se cargan en el almacenamiento de blobs de Azure y que se almacenen automáticamente en los temas de Kafka.
davy.ai
Para cargar datos JSON desde Azure Blob Storage en Apache Kafka y luego en otra base de datos, se recomienda utilizar el Conector de origen de Azure Blob Storage para Kafka. Sin embargo, como se mencionó, este conector requiere que los datos se escriban primero en Azure Blob Storage utilizando el Conector de destino, antes de ser leídos por el Conector de origen.
Para escuchar continuamente la carga de un archivo en Azure Blob Storage y almacenarlo automáticamente en los temas de Kafka, puede utilizar Azure Functions con la extensión Kafka. Esto creará una función sin servidor que se activará cada vez que se cargue un nuevo archivo en el almacenamiento de blobs, y luego leerá y enviará los datos a Kafka.
Alternativamente, puede escribir un script personalizado de Python para escuchar los eventos de Azure Blob Storage y utilizar la biblioteca de Python de Kafka para producir los datos en Kafka.
En general, la mejor manera de cargar datos JSON en Kafka dependerá de sus requisitos y recursos específicos.