Tag: AZURE-DATABRICKS
Soy un traductor de español que traduce documentos de IT. Traduzca lo siguiente al español. No traduzca el código y la salida en markdown. Soy bastante nuevo en Databricks, así que perdóname por la falta de conocimiento aquí. Estoy usando el recurso de Databricks en Azure. Principalmente, estoy usando la . . . Read more
Estoy creando un metastore en Azure Databricks para Azure SQL. He proporcionado los siguientes comandos para la configuración del clúster utilizando el tiempo de ejecución 7.3, como se menciona en la documentación https://learn.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore#spark-options. — spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore spark.hadoop.javax.jdo.option.ConnectionUserName xxxx datanucleus.fixedDatastore false spark.hadoop.javax.jdo.option.ConnectionPassword xxxx datanucleus.autoCreateSchema true spark.sql.hive.metastore.jars builtin spark.sql.hive.metastore.version 1.2.1 . . . Read more
He enviado los registros de Data Bricks a una cuenta de almacenamiento habilitando la configuración de diagnóstico. Ahora tengo que leer esos registros usando Azure Data Bricks para análisis avanzado. Cuando intento montar la ruta, funciona pero la lectura no funciona. Paso 1- containerName = “insights-logs-jobs” storageAccountName = “smk” config . . . Read more
En el trabajo tengo un cuaderno de Databricks Scala que utiliza muchas importaciones de bibliotecas, tanto de Maven como de algunos archivos JAR. El problema que tengo es que cuando planifico trabajos en este Cuaderno, a veces falla (completamente al azar pero sobre todo 1 vez cada 10 ejecuciones) porque . . . Read more
Intenté seguir las instrucciones del archivo readme aquí: https://github.com/databrickslabs/smolder Cuando ejecuto las importaciones en Azure Databricks con tiempo de ejecución 8.4 (que incluye Apache Spark 3.1.2, Scala 2.12), obtengo el siguiente error: import com.databricks.labs.smolder.functions.parsehl7message command-2210167876712732:1: error: object labs is not a member of package com.databricks import com.databricks.labs.smolder.functions.parsehl7message Seguí los pasos . . . Read more