es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: PARALLEL-PROCESSING

Azure Databricks: Bucle paralelo en Python

Estoy utilizando Azure Databricks para analizar algunos datos. Tengo la siguiente estructura de carpetas en el almacenamiento de blob: carpeta_1\n1 archivo csv carpeta_2\n2 archivos csv .. carpeta_k\nk archivos csv Deseo leer estos archivos, ejecutar un algoritmo (relativamente sencillo) y escribir algunos archivos de registro y archivos de imágenes para cada . . . Read more

Dasync.Collections ParallelForEachAsync se ejecuta únicamente como un bucle síncrono.

Estoy tratando de hacer solicitudes HTTP paralelas para que mi aplicación se ejecute más rápido. A continuación se muestra mi código de reproducción mínima: List<><int, int=””>> chunks = CreateBlockListToProcess(startBlock, currentBlock); await Dasync.Collections.ParallelForEachExtensions.ParallelForEachAsync(chunks, async chunk => { await GetLogs(chunk, tokens, wallets); }, maxDegreeOfParallelism: 5); private async Task GetLogs(Tuple<int, int=””> chunk, string[] . . . Read more

Sube múltiples archivos json a Azure Blob Storage en paralelo.

Tengo una lista de objetos que quiero convertir a json y subir a azure blob storage. Para hacerlo en secuencia, podría usar el siguiente código: var objects = new List<object>(); foreach (var obj in objects) { var blobClient = _blobContainerClient.GetBlobClient($”my_file_name.json”); using (var ms = new MemoryStream(Encoding.UTF8.GetBytes(JsonConvert.SerializeObject(obj)))) { await blobClient.UploadAsync(ms, options: . . . Read more