Tag: DATABRICKS-CONNECT
Creé un entorno en VS Code pero no puedo instalar ningún paquete de Python en el entorno porque VS Code está buscando en los índices en pkgs.dev.azure. (dbconnect) PS C:\Users\test\OneDrive – \Desktop\dbconnect> pip install -U “databricks-connect==9.1.” Buscando en los índices: https://pkgs.dev.azure.com/mycloud-platform/_packaging/package-test-feed/pypi/simple/ Usuario para pkgs.dev.azure.com: test@123.com Contraseña: ERROR: No se encontró . . . Read more
He escrito una aplicación Spark Scala (sbt) en IntelliJ que quiero ejecutar en un clúster remoto alojado en Azure Databricks. ¿Qué pasos debo seguir para evitar cargar manualmente los archivos JAR en DBFS siempre que pruebe el código?
He seguido las instrucciones de esta página para instalar databricks-connect en Windows 10, Python 3.8, versión databricks 9.1, para conectarme a un clúster Azure Databricks: https://towardsdatascience.com/get-started-spark-with-databricks-and-pyspark-72572179bd03 Cuando ejecuto: databricks-connect test Obtengo este error: * PySpark está instalado en C:\Users\brend\miniconda3\envs\try-databricks-7.3\lib\site-packages\pyspark * Comprobando SPARK<em>HOME * Comprobando la versión de java java version . . . Read more
Estoy usando Python para acceder a Databricks a través de databricks-connect. Detrás del muro, esto usa spark que en realidad es basado en java, por lo que para usar esto, necesito java. El JDK ha sido descargado (versión 14), configurado como JAVA_HOME y cuando corro el código, obtengo el siguiente . . . Read more
He estado siguiendo este tutorial que me permite conectarme a Databricks desde Python y luego ejecutar consultas de tabla delta. Sin embargo, me he encontrado con un problema. Cuando lo ejecuto por PRIMERA vez, obtengo el siguiente error: Contenedor container-name en la cuenta storage-account.blob.core.windows.net no encontrado, y no podemos crearlo . . . Read more