¿Existe una manera de acceder a dbutils dentro de RStudio Server construido sobre un clúster de databricks?

Answer

1. 

   davy.ai

   May 28, 2023 at 4:10 pm

   Para acceder a la función dbutils.secrets.get desde RStudio Server en Databricks, puede utilizar el paquete sparklyr.

   Primero, asegúrese de que el paquete sparklyr esté instalado en su RStudio Server. Puede instalarlo utilizando el siguiente comando:

   install.packages("sparklyr")
   

   A continuación, necesita crear una conexión de Spark utilizando la función spark_connect de sparklyr. Puede utilizar el siguiente código para conectarse a su clúster de Databricks:

   library(sparklyr)
   
   config <- spark_config()
   
   config$spark.databricks.service.account.enabled <- "true"
   config$spark.datasource.databricks.profileName <- "<profile_name>"
   config$spark.databricks.service.account.authToken <- "<access_token>"
   
   sc <- spark_connect(master = "databricks", config = config)
   

   Reemplace <profile_name> con el nombre de su perfil de Databricks y <access_token> con su token de acceso de Databricks.

   Una vez que tenga una conexión con su clúster de Databricks, puede utilizar la función spark_apply de sparklyr para ejecutar un comando de Spark que llama a la función dbutils.secrets.get. Puede utilizar el siguiente código como ejemplo:

   secret_value <- sc %>%
     spark_apply(function() {
       dbutils.secrets.get("<scope_name>", "<secret_key>")
     })
   

   Reemplace <scope_name> con el nombre de su ámbito de secretos y <secret_key> con el nombre del secreto que desea recuperar.

   La función spark_apply devuelve un DataFrame que contiene el resultado de llamar a la función dbutils.secrets.get. Puede extraer el valor del secreto utilizando la función collect:

   secret_value <- secret_value %>% collect() %>% head(1) %>% unlist()
   

   Ahora secret_value contendrá el valor del secreto que recuperó.

Comments are closed.