Tag: DASK
Estoy tratando de ejecutar una función en diferentes combinaciones de todos los elementos en diferentes matrices con Dask, y estoy luchando para aplicarla. El código en serie es el siguiente: for i in range(5): for j in range(5): for k in range(5): función(listaA[i], listaB[j], listaC[k]) print(f'{i}.{j}.{k}’) k=k+1 j=j+1 i=i+1 El . . . Read more
Desplegué un gráfico helm de dask-jupyter para un solo usuario en un clúster k8s (https://github.com/dask/helm-chart/tree/main/dask). $ helm ls NOMBRE ESPACIO DE NOMBRES REVISIÓN ACTUALIZADO ESTADO GRÁFICO VERSIÓN DE LA APP pangeo wifire-quicfire 6 2021-11-22 15:29:38.809774 -0800 PST desplegado dask-2021.11.2 2021.11.2 $ kubectl get svc pangeo-dask-jupyter pangeo-dask-scheduler NOMBRE TIPO CLUSTER-IP EXTERNAL-IP . . . Read more
Estoy utilizando Dask Bag para ejecutar algunos cálculos de map-reduce simples en un clúster especial: import dask.bag as bag summed_image = bag.from_sequence(my_ids).map(gen_image_from_ids).reduction(sum, sum).compute() Este código genera una secuencia de cálculos encadenados, comienza mapeando desde from_sequence y gen_image_from_ids, y luego reduce todos los resultados en uno solo con sum. Gracias a . . . Read more
Tengo un archivo GRIB de 17 GB que contiene datos de temperatura (t2m) para cada hora del año 2020. Las dimensiones del conjunto de datos son longitude, latitude y time. Mi objetivo es calcular la temperatura más alta para cada coordenada (lon, lat) en los datos durante todo el año. . . . Read more
Estoy utilizando dask para leer un archivo csv grande. Quiero eliminar algunas filas basadas en el valor de una columna. Si el valor de fila para esa columna en particular está vacío, quiero eliminar la fila completa. Intenté usar .dropna: df = df.dropna(subset=[‘tier1_name’],how=’any’,axis=0) Sin embargo, obtuve este error: TypeError: dropna() . . . Read more