Tag: AZURE-DATABRICKS
Quería ejecutar la rueda de Python como un trabajo de Spark utilizando el punto de conexión de la API “api/2.0/jobs/runs/submit”, proporcionando el nombre del paquete y el punto de entrada: { ‘existing_cluster_id’: self.cluster_id, “python_wheel_task”: { “package_name”: “my.package”, “entry_point”: “my_method” }, “libraries”: [ {“whl”: “dbfs:/FileStore/jars/1e023c35_ca3a_42c0_958b_fa308124ccc3/my_lib-0.0.1-py3-none-any.whl”} ] } Sin embargo, cuando la . . . Read more
Cómo copiar un archivo .py almacenado en la ubicación de dbfs a las carpetas del espacio de trabajo de Databricks. Una vez que se copia a las carpetas del espacio de trabajo, puedo ejecutarlo como un cuaderno utilizando el comando %run.
Quiero importar un cuaderno de Databricks utilizando el método de importación de la API de Workspace. El contenido del cuaderno debe ser dinámico. Estoy intentando utilizar el siguiente código pero me da un error: solicitud mal funcionada La solicitud contiene un cuerpo JSON no válido. He intentado convertir el contenido . . . Read more
He utilizado Databricks para capturar datos de Event Hub y procesarlos en tiempo real con Pyspark Streaming. El código funciona bien, pero después de esta línea: df.writeStream.trigger(processingTime='100 seconds').queryName("myquery")\ .format("console").outputMode('complete').start() Estoy obteniendo el siguiente error: org.apache.spark.SparkException: Trabajo de escritura abortado. Causado por: java.io.InvalidClassException: org.apache.spark.eventhubs.rdd.EventHubsRDD; clase local incompatible: clase flujo streamdesc He . . . Read more
Soy nuevo en Databricks y estoy usando Databricks con Python. He creado un esquema de archivo json y como resultado del dataframe (display(result)) obtengo este resultado: docs ——- [ { “id”: 1, “name”: “product 1”, “brand”: “new 1”, “val”: [ { “value”: “test 1” }, { “value”: “test 2” }, . . . Read more