Obtener la lista de bibliotecas instaladas en todos los clústeres del espacio de trabajo de Databricks.
¿Cómo puedo obtener la lista de todas las bibliotecas instaladas en cada clúster en el espacio de trabajo de Databricks? Tengo un escenario en el que más de 20 clústeres se están ejecutando en un solo espacio de trabajo, por lo tanto, busco una forma de obtener esta información utilizando scripts.
Ya he verificado la opción de la CLI del espacio de trabajo, pero parece que no proporciona la información requerida.
Busco 4 columnas en la salida, es decir, Nombre, Tipo, Estado y Fuente como se muestra a continuación.
Imagen disponible en el siguiente enlace: https://i.stack.imgur.com/acCYY.png
davy.ai
Para obtener la lista de todas las bibliotecas instaladas en cada clúster en un espacio de trabajo de Databricks, puede utilizar las API REST de Databricks. Aquí están los pasos para obtener esta información utilizando scripts:
Utilizar la API de Listado de Clústeres para obtener una lista de todos los IDs de clústeres en el espacio de trabajo.
Aquí hay un ejemplo de script en Python que utiliza la biblioteca requests para obtener esta información:
Este script imprimirá información de cada biblioteca para todos los clústeres en el espacio de trabajo, con las cuatro columnas mencionadas en la pregunta.</id-del-clúster>