Tag: PARALLEL-PROCESSING
Tengo una función en Google Colab en Python que quiero ejecutar 100 veces. Esta función utiliza la GPU (específicamente Pytorch) en Google Colab. ¿Cuál es la manera más rápida de ejecutar esta función 100 veces? El orden no importa. Mi motivación es que estoy intentando realizar un experimento de remuestreo . . . Read more
Estoy utilizando Azure Databricks para analizar algunos datos. Tengo la siguiente estructura de carpetas en el almacenamiento de blob: carpeta_1\n1 archivo csv carpeta_2\n2 archivos csv .. carpeta_k\nk archivos csv Deseo leer estos archivos, ejecutar un algoritmo (relativamente sencillo) y escribir algunos archivos de registro y archivos de imágenes para cada . . . Read more
Estoy tratando de ejecutar una función en diferentes combinaciones de todos los elementos en diferentes matrices con Dask, y estoy luchando para aplicarla. El código en serie es el siguiente: for i in range(5): for j in range(5): for k in range(5): función(listaA[i], listaB[j], listaC[k]) print(f'{i}.{j}.{k}’) k=k+1 j=j+1 i=i+1 El . . . Read more
Estoy tratando de hacer solicitudes HTTP paralelas para que mi aplicación se ejecute más rápido. A continuación se muestra mi código de reproducción mínima: List<><int, int=””>> chunks = CreateBlockListToProcess(startBlock, currentBlock); await Dasync.Collections.ParallelForEachExtensions.ParallelForEachAsync(chunks, async chunk => { await GetLogs(chunk, tokens, wallets); }, maxDegreeOfParallelism: 5); private async Task GetLogs(Tuple<int, int=””> chunk, string[] . . . Read more
Tengo una lista de objetos que quiero convertir a json y subir a azure blob storage. Para hacerlo en secuencia, podría usar el siguiente código: var objects = new List<object>(); foreach (var obj in objects) { var blobClient = _blobContainerClient.GetBlobClient($”my_file_name.json”); using (var ms = new MemoryStream(Encoding.UTF8.GetBytes(JsonConvert.SerializeObject(obj)))) { await blobClient.UploadAsync(ms, options: . . . Read more