Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Intentando cargar mensajes desde Topic en una tabla SilverTable en WriteStream. Pero los mensajes no se están cargando en la SilverTable. ¿Cómo leer los mensajes en la SilverTable? var df = spark .readStream .format(“kafka”) .option(“kafka.bootstrap.servers”, “10.19.9.4:1111”) .option(“subscribe”, “testTopic”) .load() df = df.select($”value”,$”topic”) // seleccionar el valor codificado en avro y . . . Read more
Estoy tratando de descubrir cómo escribir un Spark Stream en una tabla de Phoenix de la manera menos complicada. Hasta ahora solo he encontrado esta solución: kafka-to-phoenix, que requiere alguna ingeniería ad-hoc profunda (a mis ojos de principiante). Puedo adaptar la solución vinculada a mis necesidades sin mayores problemas, pero . . . Read more
Necesito insertar/actualizar datos en tiempo real (con transmisión estructurada de Spark) en Python. Estos datos se leen en tiempo real (formato csv) y luego se escriben como una tabla delta (aquí queremos actualizar los datos, por eso usamos merge into desde delta). Estoy usando el motor delta con Databricks. He . . . Read more
Sigo este ejemplo para simular el streaming en Spark desde un archivo fuente. Al final del ejemplo, se utiliza una función llamada display, que solo es compatible con databricks. Ejecuto mi código en el cuaderno de Jupyter. ¿Cuál es la alternativa en Jupyter para obtener la misma salida obtenida de . . . Read more
Quería ejecutar un trabajo de Spark Structured Stream con Azure Blob Storage como fuente para mi flujo. Algo como lo siguiente: spark_df = spark \ .readStream \ .format(“blob”) \ .options(**blobConf) \ .load() ¿Cómo puedo hacerlo usando PySpark?