Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy utilizando el streaming estructurado en Spark pero estoy teniendo dificultades para entender los datos mantenidos en memoria. Actualmente estoy ejecutando Spark 2.4.7, que dice (Guía de programación de streaming estructurado) La idea clave en el streaming estructurado es tratar un flujo de datos en vivo como una tabla a . . . Read more
¿Cómo es posible que la tasa de proceso sea mayor que la tasa de entrada? A mi entender, la tasa de proceso es la medida por la cual Spark puede procesar los datos entrantes, es decir, la capacidad de proceso. Si es así, la tasa de proceso debe ser en . . . Read more
Leí la visión general del modo de clúster (enlace: https://spark.apache.org/docs/latest/cluster-overview.html) y me preguntaba cómo se pueden mapear los componentes como el Driver, Executor y los nodos de trabajo en los componentes del Ecosistema Spark, como Spark Core, Spark SQL, Spark Streaming, Spark MLlib, Spark GraphX y los administradores de programación/cluster. . . . Read more
Tengo un tipo de RDD como este: RDD[((String),SomeDTO)] Este RDD proviene de un método de unión, y puedo estar seguro de que el valor del elemento de la misma clave debe ser el mismo, así que si quiero obtener elementos distintos de la RDD, ¿cuál es la diferencia entre los . . . Read more
Se ha detectado una operación incorrecta y se ha lanzado la siguiente advertencia: UnsupportedOperationChecker: Se ha detectado un patrón de posible problema de 'corrección' debido a la marca de agua global. La consulta contiene una operación con estado que puede emitir filas anteriores a la marca de agua actual más . . . Read more