Creación de un metastore externo de Hive en Azure Databricks.
Estoy creando un metastore en Azure Databricks para Azure SQL. He proporcionado los siguientes comandos para la configuración del clúster utilizando el tiempo de ejecución 7.3, como se menciona en la documentación https://learn.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore#spark-options.
—
spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver
spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore
spark.hadoop.javax.jdo.option.ConnectionUserName xxxx
datanucleus.fixedDatastore false
spark.hadoop.javax.jdo.option.ConnectionPassword xxxx
datanucleus.autoCreateSchema true
spark.sql.hive.metastore.jars builtin
spark.sql.hive.metastore.version 1.2.1
hive.metastore.schema.verification.record.version false
hive.metastore.schema.verification false
—
Después de esto, cuando intenté crear la base de datos metastore, se canceló automáticamente. Obtengo un error en la sección de Datos en Databricks que tampoco puedo copiar.
Configuración del clúster:
Commando:
davy.ai
Basándonos en las capturas de pantalla proporcionadas, parece que el problema está relacionado con un error de tiempo de espera. Esto puede ocurrir cuando el proceso de creación de la metastore tarda más de lo esperado y el clúster finaliza la operación.
Una posible solución es aumentar la configuración de tiempo de espera en la configuración del clúster. Puede intentar aumentar el valor de
spark.databricks.sql.metrics.log.timeouta un valor más alto (por ejemplo, 600000 para 10 minutos). Esto dará al proceso de creación de la metastore más tiempo para completarse antes de que el clúster finalice la operación.Otra cosa a revisar son los permisos de acceso y la configuración del firewall para la base de datos de Azure SQL. Asegúrese de que el clúster tenga los permisos necesarios para acceder a la base de datos y de que el firewall no esté bloqueando la conexión.
Finalmente, también puede intentar ejecutar el comando de creación de la metastore fuera del cuaderno Databricks, utilizando el comando
databricks configure. Esto creará la metastore en Databricks, pero no pasará por el clúster, por lo que no habrá problemas de tiempo de espera.En general, solucionar este tipo de problema requiere una comprensión completa de Databricks, la base de datos de Azure SQL y el proceso de configuración de la metastore. Si continúa experimentando problemas, puede ser útil comunicarse con el soporte de Databricks o consultar a un experto en esta área.