es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Exportar datos a Azure Data Explorer.

07 Jun, 2023 Programación

Estoy intentando construir una infraestructura sencilla para el siguiente escenario:

Tenemos un dispositivo edge remoto que recopila datos de sensores de IoT y guarda los datos como carga útil JSON (esto sucede cada 10 minutos) y genera una URL web – lo que permite descargar la carga útil.

Entonces, quiero que estos datos se almacenen en Azure para su posterior análisis y necesito visualizar los informes utilizando cualquier herramienta de visualización (Grafana es la más preferida).

Entonces, necesito mantener Grafana como herramienta de visualización, creo que necesito ir con Azure Data Explorer para recopilar los datos ya que Grafana solo tiene un complemento para Azure Data Explorer.

Tenemos la misma configuración en AWS y estamos utilizando Amazon Timestream para recopilar datos y Grafana como herramienta de visualización de datos. Grafana tiene un complemento para conectarse a Timestream.

  1. ¿Alguien tiene alguna sugerencia sobre la infraestructura?

  2. Si tengo que usar Azure Data Explorer, necesito almacenar los datos en el almacenamiento de blobs de Azure primero y luego ingresar los datos desde él a Data Explorer (para la ingestión continua). ¿Alguien conoce otras formas de ingresar directamente los datos desde la URL web a Data Explorer?

  3. Si tengo que usar Azure Blob Storage, ¿alguien sabe cómo empujar automáticamente los datos desde la URL web al almacenamiento de blobs?

¡Gracias por todas sus sugerencias de antemano!

Tags:  , , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Como experto en TI especializado en Azure, Azure DevOps, Azure Functions, Azure Blob Storage y Azure Data Explorer, estas son mis sugerencias con respecto a la infraestructura para el escenario presentado:

    1. Para almacenar los datos en Azure y visualizarlos en Grafana, el uso de Azure Data Explorer (ADX) y Grafana es un buen enfoque. ADX es una plataforma de análisis de datos rápida y escalable que puede manejar grandes volúmenes de datos, y Grafana tiene un complemento para ADX, lo que facilita la visualización de los datos.

    2. Para ingresar los datos desde la URL web a data explorer directamente, puede utilizar Azure Event Hubs como buffer entre el dispositivo del borde y ADX. Puede configurar el dispositivo del borde para enviar los datos al Event Hub y luego utilizar Azure Stream Analytics para ingresar los datos desde el Event Hub a ADX. De esta manera, puede ingresar continuamente los datos en tiempo real.

    3. Para enviar automáticamente los datos desde la URL web al almacenamiento de blobs, puede crear una Logic App en Azure. Una Logic App es una herramienta de automatización de flujos de trabajo que puede ayudarlo a automatizar tareas mediante la creación de flujos de trabajo o la conexión de API y servicios. Puede configurar la Logic App para obtener los datos de la URL web y luego escribirlos en el almacenamiento de blobs. De esta manera, los datos se enviarán automáticamente al almacenamiento de blobs en intervalos regulares.

    Espero que estas sugerencias lo ayuden a construir una infraestructura sólida y eficiente para su escenario utilizando tecnologías de Azure.

Comments are closed.