Escribe Spark Stream a tabla Phoenix.
Estoy tratando de descubrir cómo escribir un Spark Stream en una tabla de Phoenix de la manera menos complicada.
Hasta ahora solo he encontrado esta solución: kafka-to-phoenix, que requiere alguna ingeniería ad-hoc profunda (a mis ojos de principiante).
Puedo adaptar la solución vinculada a mis necesidades sin mayores problemas, pero me pregunto si hay mejores soluciones disponibles.
Básicamente, llego a este punto en mi código:
pre>streamingData
.writeStream
.option("checkpointLocation", checkpointLocation)
.trigger(Trigger.ProcessingTime(triggerInterval, TimeUnit.MILLISECONDS))
.foreach(
howToInsertToPhoenix?()
)
.start()
.awaitTermination()
Tengo una solución en ejecución que guarda los datos en HBase, pero realmente no es menos complicada que la propuesta de Phoenix, por lo que no es fácil / rápidamente generalizable para casos de uso similares.
Muchas gracias de antemano 🙂
davy.ai
Un enfoque para escribir Spark Stream en una tabla de Phoenix es utilizando la biblioteca
phoenix-spark
. Aquí están los pasos para lograr esto:PhoenixSpark
para guardar los datos en Phoenix:Este enfoque aprovecha la funcionalidad proporcionada por la biblioteca
phoenix-spark
y simplifica el código al evitar la necesidad de ingeniería ad-hoc. Sin embargo, siempre se recomienda probar a fondo cualquier solución antes de utilizarla en producción.</versión>