Tag: SPARK-STREAMING-KAFKA
Estoy usando el receptor personalizado a continuación para consumir datos de Rabbitmq en Spark-Scala. import org.apache.spark.streaming.rabbitmq.RabbitMQUtils import java.io.{BufferedReader, InputStreamReader} import java.net.Socket import java.nio.charset.StandardCharsets import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.{InputDStream, ReceiverInputDStream} import org.apache.spark.SparkContext import org.apache.spark.streaming._ import org.apache.spark.streaming.receiver._ import org.apache.spark.internal.Logging import org.apache.spark._ import org.apache.spark.streaming._ import org.apache.spark.internal.Logging import . . . Read more
Tengo un mapa de tipo Map[String, String] que quiero agregar dentro de otro mapa2 de tipo Map[String, Any]. Más tarde, este mapa2 se añadirá como una columna en un dataframe. Cuando intento agregar map2 como una columna usando spark.sql.functions.typedLit, falla con el siguiente error: Tipo de literal no admitido class . . . Read more
¿Alguien puede ayudarme con este problema? Tengo una tabla delta “orders”. Esta tabla se carga con 1000 registros utilizando el archivo delta. Ahora estamos recibiendo un archivo JSON en tiempo real que está añadiendo datos a esta tabla. Dataframe de lectura de transmisión orderInputDF: from pyspark.sql.functions import * orderInputDF = . . . Read more
Tengo un flujo de datos que puedo escribir en una tabla en memoria con pyspark y consultarla con sql desde allí: transformeddata.writeStream\ .format("memory")\ .queryName("transformeddatatable")\ .trigger(processingTime='5 seconds')\ .start()\ .awaitTermination(20) # escribir los datos durante 20 segundos en la tabla en memoria desde el flujo En la siguiente celda puedo consultar los . . . Read more
Tengo algunos datos en un dataframe que se ve así: +———–+——–+———–+——————————–+ | Noun | Pronoun| Adjective | Metadata | +———–+——–+———–+——————————–+ | Homer | Simpson| Engineer | {“Age”: “50”, “Country”: “USA”} | | Elon | Musk | King | {“Age”: “45”, “Country”: “RSA”} | | Bart | Lee | Cricketer | . . . Read more