es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Transmisión estructurada con Apache Spark codificado en Spark.SQL.

02 Aug, 2023 Programación

Las transformaciones en tiempo real en Apache Spark con Databricks generalmente se codifican en Scala o Python. Sin embargo, ¿alguien podría decirme si también es posible codificar Streaming en SQL en Delta?

Por ejemplo, para el siguiente código de muestra que utiliza PySpark para el streaming estructurado, ¿puede decirme cuál sería el equivalente en spark.SQL?

simpleTransform = streaming.withColumn(“stairs”, expr(“gt like ‘% stairs%'”))\
.where(“stairs”)\
.where(“gt is not null”)\
.select(“gt”, “model”, “arrival_time”, “creation_time”)\
.writeStream\
.queryName(“simple_transform”)\
.format(“memory”)\
.outputMode(“update”)\
.start()

Tags:  , , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Es posible codificar transformaciones de streaming en SQL en Delta con Databricks. Delta Lake proporciona soporte para streaming utilizando SQL con la misma sintaxis que los lotes. El código equivalente para el código de streaming estructurado PySpark proporcionado en Spark SQL es:

    CREATE TABLE simple_transform
USING delta
AS
SELECT gt, model, arrival_time, creation_time
FROM
  (SELECT *,
          CASE
               WHEN gt LIKE '% stairs%' THEN true
               ELSE false
          END AS stairs
   FROM  streaming)
WHERE stairs = true AND gt IS NOT NULL;

Comments are closed.