Tag: KEDRO
Me gustaría crear mi propio iniciador de Kedro. He intentado replicar las partes relevantes del iniciador pandas iris. Tengo un archivo cookiecutter.json con lo que creo que son mapeos apropiados, y he cambiado los nombres del repositorio y directorio del paquete, así como cualquier referencia a la versión de Kedro . . . Read more
¿Hay alguna forma de acceder al nombre del entorno de la tubería kedro? En realidad, este es mi problema. Estoy cargando las rutas de configuración de la siguiente manera: conf_paths = [“conf/base”, “conf/local”] conf_loader = ConfigLoader(conf_paths) parameters = conf_loader.get(“parameters”, “parameters/*”) catalog = conf_loader.get(“catalog”) Pero tengo algunos entornos como “conf/server”, “conf/test”, . . . Read more
Estoy intentando leer de / escribir en otro de mis cuentas de almacenamiento ADLS Gen2. Hasta ahora, funcionaba perfectamente con una antigua. Actualicé el archivo credentials.yml con el nombre y la clave de la nueva cuenta, pero parece que mi catálogo siempre apunta a mi antigua cuenta de almacenamiento, como . . . Read more
Estoy utilizando PartitionedDataSet para cargar varios archivos csv desde el almacenamiento de Azure Blob. He definido mi conjunto de datos en el catálogo de datos de la siguiente manera. my_partitioned_data_set: type: PartitionedDataSet path: my/azure/folder/path credentials: mis credenciales dataset: pandas.CSVDataSet load_args: sep: “;” encoding: latin1 También he definido un nodo para . . . Read more
He creado un flujo de trabajo en Kedro compuesto de diferentes pipelines de procesamiento de ciencia de datos. Estas pipeline son probadas de manera independiente. Cuando ejecuto una pipeline en particular de Kedro de forma autónoma, la pipeline toma su entrada de un archivo CSV. En el entorno de producción, . . . Read more