Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo una función UDF que toma la “clave” y devuelve el correspondiente “valor” del “name_dict”. from pyspark.sql import * from pyspark.sql.functions import udf, when, col name_dict = {‘James’: “manager”, ‘Robert’: ‘director’} func = udf(lambda name: name_dict[name]) El dataframe original: “James” y “Robert” están en el diccionario, pero “Michael” no lo . . . Read more
Supongamos que este es mi código: library(magrittr) library(dplyr) set.seed(123, kind=”Mersenne-Twister”, normal.kind=”Inversion”) y = runif(20,0,50) simulation <- function(y){ x <- rnorm(length(y),3,0.125) lm(y ~ x) } fit <- lapply(1:10, function(dummy) simulation(y)) coef <- sapply(fit, coef) %>% t() %>% as.data.frame() ¿Cómo puedo recolectar las 10 variables simuladas x generadas por la función simulation . . . Read more
Tengo varios DataFrames en los que estoy limpiando los datos. El siguiente código funciona de forma independiente (fuera de una función), sin embargo, tengo que aplicarlo a muchos DataFrames y quiero simplificar este proceso mediante una función definida por el usuario. ¿Puedes ayudarme a corregir lo siguiente para que pueda . . . Read more
Tengo un dato JSON entrante que se ve así: {"id":"1000","premium":29999,"eventTime":"2021-12-22 00:00:00"} Ahora, he creado una clase que aceptará este registro y verificará si el tipo de datos del registro entrante es de acuerdo a los tipos de datos definidos en la case class. Sin embargo, cuando llamo al método, siempre . . . Read more
Estoy utilizando la UDF que depende del nombre del objeto de lista que se le pasa. El usuario no tiene que saber dónde se encuentra una tabla de referencia (objeto de lista) en el libro, ya que es un libro grande y complejo. Por esta razón, la UDF se refiere . . . Read more