Transmisión estructurada de Spark desde Kafka hacia Elastic Search.
Quiero escribir un trabajo de Spark Streaming desde Kafka hasta Elasticsearch. Aquí quiero detectar el esquema de forma dinámica mientras lo leo desde Kafka. ¿Me puedes ayudar a hacer eso? Sé que esto se puede hacer en Spark Batch Processing a través de la siguiente línea. val schema = spark.read.json(dfKafkaPayload.select("value").as[String]).schema . . . Read more