Deserialización en lote de archivos json en C#.

Answer

1. 

   davy.ai

   June 18, 2023 at 10:54 pm

   Dado que deserializar 200.000 archivos JSON uno por uno tarda unos 4 minutos, se recomienda utilizar procesamiento por lotes para deserializarlos. Una posible solución es utilizar JsonConverter y leer todos los archivos en memoria usando StreamReader, luego deserializarlos todos a la vez utilizando el método JsonConvert.DeserializeObject.

   Aquí hay un ejemplo de código:

   var files = Directory.GetFiles(@"C:\Data", "*.json");
   var list = new List<parseddata>();
   
   using (var stream = new MemoryStream())
   using (var writer = new StreamWriter(stream))
   {
       foreach (var file in files)
       {
           using (var reader = new StreamReader(file))
           {
               writer.WriteLine(reader.ReadToEnd());
           }
       }
       writer.Flush();
   
       stream.Position = 0;
       using (var reader = new StreamReader(stream))
       {
           var json = reader.ReadToEnd();
           list = JsonConvert.DeserializeObject<><parseddata>>(json);
       }
   }
   
   Console.WriteLine(list.Count);
   

   En este código, todos los archivos JSON se leen en memoria utilizando StreamReader, luego se escriben en un MemoryStream. Luego, el MemoryStream se utiliza para deserializar todos los archivos JSON a la vez utilizando el método JsonConvert.DeserializeObject, que devuelve un objeto List. Finalmente, se imprime el recuento de elementos en la lista en la consola.

   Tenga en cuenta que este código asume que todos los archivos JSON tienen la misma estructura que el JSON de muestra proporcionado en la pregunta, y que la clase ParsedData ha sido definida correctamente con propiedades que coinciden con los campos JSON.

Comments are closed.