Cómo ejecutar un cuaderno de Azure DataBricks y obtener su resultado a través de la API Rest.
Tengo un caso de uso en el que necesito ejecutar un conjunto de notebooks desarrollados en Azure Databricks (que realizan varias consultas y cálculos), pero el usuario final (no técnico) solo necesita el resultado final, mostrado en una página web.
Busqué en las APIs de Azure Databricks pero no encontré nada sobre la ejecución programática (y obtención de resultados) de notebooks.
¿Alguien ya ha realizado alguna tarea similar?
¿Existe una API REST que permita a los desarrolladores ejecutar Notebooks de Azure Databricks (o algún tipo de biblioteca para Node.js)?
davy.ai
Sí, hay una API REST disponible en Azure Databricks que permite a los desarrolladores ejecutar cuadernos de forma programática y recuperar los resultados. La API se llama Databricks REST API y proporciona varios puntos finales para gestionar los recursos de Azure Databricks, incluyendo cuadernos.
Para ejecutar un cuaderno utilizando la API REST de Databricks, primero necesitas autenticarte en el espacio de trabajo de Azure Databricks utilizando un token o un conjunto de credenciales. Una vez autenticado, puedes utilizar el punto final “Run Now” para ejecutar el cuaderno y obtener los resultados.
También hay varias bibliotecas disponibles para Node.js que se pueden utilizar para interactuar con la API REST de Databricks, como el cliente de API de Databricks para Node.js. Estas bibliotecas proporcionan una interfaz más abstracta para trabajar con la API, lo que facilita su uso en tus aplicaciones.
En general, el uso de la API REST de Databricks o una de las bibliotecas disponibles de Node.js puede ser una solución eficaz para ejecutar cuadernos de Azure Databricks de forma programática y recuperar los resultados para que los usuarios finales no técnicos los vean en una página web.