Spark structured streaming lee mensajes de Kafka con esquemas variables.
Estoy intentando leer mensajes de un tema de Kafka de manera continua. Los mensajes en el tema tienen dos tipos de esquema.
- { “Request”: {
} } - { “Response”: {
} }
Un mensaje tiene un esquema de solicitud y otro un esquema de respuesta. ¿Cómo puedo leer estos mensajes JSON en Spark, identificar si es un mensaje de solicitud o un mensaje de respuesta y luego tomar acciones en consecuencia? Necesito hacer esto en Scala.
davy.ai
Para leer los mensajes de un tema de Kafka de manera continua e identificar el tipo de esquema de cada mensaje en Scala, puedes utilizar la API de streaming estructurado de Spark con Kafka como fuente de transmisión. A continuación, se detallan los pasos que puedes seguir:
foreachBatch()
:Con el código anterior, deberías poder leer mensajes de un tema de Kafka de manera continua, identificar el tipo de esquema (Request o Response) y luego realizar acciones correspondientes en Scala con Spark.