Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Las transformaciones en tiempo real en Apache Spark con Databricks generalmente se codifican en Scala o Python. Sin embargo, ¿alguien podría decirme si también es posible codificar Streaming en SQL en Delta? Por ejemplo, para el siguiente código de muestra que utiliza PySpark para el streaming estructurado, ¿puede decirme cuál . . . Read more
Estoy intentando leer mensajes de un tema de Kafka de manera continua. Los mensajes en el tema tienen dos tipos de esquema. { “Request”: { } } { “Response”: { } } Un mensaje tiene un esquema de solicitud y otro un esquema de respuesta. ¿Cómo puedo leer estos mensajes . . . Read more
He estado intentando configurar Apache Spark con kafka y he escrito un programa simple de forma local y está fallando. No puedo entender el problema al depurar. build.gradle.kts implementation (“org.jetbrains.kotlin:kotlin-stdlib:1.4.0”) implementation (“org.jetbrains.kotlinx.spark:kotlin-spark-api-3.0.0_2.12:1.0.0-preview1”) compileOnly(“org.apache.spark:spark-sql_2.12:3.0.0”) implementation(“org.apache.kafka:kafka-clients:3.0.0”) El código de la función principal es: val spark = SparkSession .builder() .master(“local[*]”) .appName(“Ship metrics”).orCreate val . . . Read more
Estoy intentando obtener datos de Azure EventHub en Databricks. Para establecer una conexión, estoy ejecutando el siguiente código: conf = {} connectionString = “mi clave de cadena de conexión” conf[“eventhubs.connectionString”] = sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.en El error que estoy obteniendo es: Py4JError: org.apache.spark.eventhubs.EventHubsUtils.en no existe en el JVM He leído que este error . . . Read more
Tengo un dataframe como el siguiente en el que tiene tanto pares de clave y valor. | Nombre | Edad | Ubicación | | abc | 12 | loc1 | | def | 13 | loc2 | Quería crear una cadena de json a partir de esto. Cuando hago un . . . Read more