Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy intentando filtrar datos en mi archivo csv para mostrar solo entradas con tiempo entre la hora actual y 1 hora antes. Los datos se ven así después de filtrar solo las columnas para “CreatedAt” y “ID”: CreatedAt ID 2021-11-26 09:36:05-08:00 99702 2021-11-26 07:21:36-08:00 645478 2021-11-25 09:34:00-08:00 204446 2021-11-25 00:19:08-08:00 . . . Read more
¿Cómo intercambiar de manera efectiva los nombres entre 2 columnas en Delta Lake? Supongamos que tengo las siguientes columnas: Dirección | Nombre Y me gustaría intercambiar los nombres para tener: Nombre | Dirección Primero renombré dos columnas: spark.read.table(“table”) \ .withColumnRenamed(“address”, “name1”) \ .withColumnRenamed(“name”, “address1”) \ .write \ .format(“delta”) \ .mode(“overwrite”) . . . Read more
Estoy tratando de controlar los registros por disparadores en el streaming estructurado. ¿Existe alguna función para esto? He probado diferentes propiedades pero nada parece estar funcionando. Importo org.apache.spark.sql.streaming.Trigger. val checkpointPath = "/user/akash-singh.bisht@unilever.com/dbacademy/developer-foundations-capstone/checkpoint/orders"; // val outputPath = "/user/akash-singh.bisht@unilever.com/dbacademy/developer-foundations-capstone/raw/orders/stream"; La consulta de dispositivos escribe en streaming, en modo de salida “append”, con . . . Read more
Corrí el ejemplo en delta doc: sql SELECT * FROM delta./delta/events VERSION AS OF 1 Pero obtuve el siguiente error: mismatched input ‘AS’ expecting {, ‘;’}(line 3, pos 44) ¿Alguien sabe cuál es la sintaxis correcta? Versión de Spark: 3.1.2 Versión de Delta: 1.0.0 Configure Spark de la siguiente manera: . . . Read more
Tengo una tabla delta de origen que se encuentra en un contenedor en nuestro grupo de recursos de desarrollo, como dev1@dev. Necesito copiar exactamente estos archivos de datos a otra ubicación de almacenamiento en nuestro clúster de producción usando prod1@prod. Tenemos tablas delta similares en ambas ubicaciones. Quiero que las . . . Read more