Visualización de Spark Streaming (transmisión en tiempo real) no funcionando.
Sigo este ejemplo para simular el streaming en Spark desde un archivo fuente. Al final del ejemplo, se utiliza una función llamada display, que solo es compatible con databricks. Ejecuto mi código en el cuaderno de Jupyter. ¿Cuál es la alternativa en Jupyter para obtener la misma salida obtenida de la función display?
captura de pantalla del Ejemplo.
Actualización 1:
El código:
# Fuente
sourceStream=spark.readStream.format("csv").\
option("header",True).\
schema(schema).option("ignoreLeadingWhiteSpace",True).\
option("mode","dropMalformed").\
option("maxFilesPerTrigger",1).load("D:/PHD Project/Paper_3/Tutorials/HeartTest_1/").\
withColumnRenamed("output","label")
# Transmitir datos de prueba al modelo de ML
streamingHeart=pModel.transform(sourceStream).select('label')
Hago lo siguiente:
streamingHeart.writeStream.outputMode("append").\
format("csv").option("path", "D:/PHD Project/Paper_3/Tutorials/sa1/").option("checkpointLocation",\
"checkpoint/filesink_checkpoint").start()\
El problema es que los archivos generados (archivos de salida) están vacíos. ¿Cuál podría ser la razón detrás de eso?
davy.ai
En Jupyter notebook, la alternativa a la función display es usar la función show(). La función show() muestra por defecto las primeras 20 filas del DataFrame. Sin embargo, puedes especificar el número de filas que deseas mostrar pasando un argumento a la función. Por ejemplo, si quieres mostrar las primeras 50 filas de un DataFrame, puedes llamar a la función show(50).
Respecto al problema de los archivos de salida vacíos, asegúrate de que la consulta en streaming haya iniciado correctamente y esté procesando activamente los datos. También verifica el directorio de checkpoint si se produjeron excepciones al iniciar la consulta. Además, puedes intentar cambiar el modo de salida de “append” a “complete” o “update” y verificar si soluciona el problema. Por último, asegúrate de que la ruta donde se están escribiendo los archivos de salida tenga permisos de escritura.