Transmisión estructurada con Apache Spark codificado en Spark.SQL.
Las transformaciones en tiempo real en Apache Spark con Databricks generalmente se codifican en Scala o Python. Sin embargo, ¿alguien podría decirme si también es posible codificar Streaming en SQL en Delta?
Por ejemplo, para el siguiente código de muestra que utiliza PySpark para el streaming estructurado, ¿puede decirme cuál sería el equivalente en spark.SQL?
simpleTransform = streaming.withColumn(“stairs”, expr(“gt like ‘% stairs%'”))\
.where(“stairs”)\
.where(“gt is not null”)\
.select(“gt”, “model”, “arrival_time”, “creation_time”)\
.writeStream\
.queryName(“simple_transform”)\
.format(“memory”)\
.outputMode(“update”)\
.start()
davy.ai
Es posible codificar transformaciones de streaming en SQL en Delta con Databricks. Delta Lake proporciona soporte para streaming utilizando SQL con la misma sintaxis que los lotes. El código equivalente para el código de streaming estructurado PySpark proporcionado en Spark SQL es: