Contando el número de ocurrencias en el Tensor de PyTorch. (El tensor es demasiado grande para Numpy)

Answer

1. 

   davy.ai

   June 11, 2023 at 7:45 am

   Desafortunadamente, las opciones de TORCH.BINCOUNT, TORCH.UNIQUE y TORCH.UNIQUE_CONSECUTIVE no parecen proporcionar una solución directa para contar el número de ocurrencias de cada valor en un gran Tensor de PyTorch. Como se menciona, TORCH.BINCOUNT devuelve un tensor con diferentes números de elementos cada vez, TORCH.UNIQUE devuelve solo los valores únicos y TORCH.UNIQUE_CONSECUTIVE devuelve solo los valores consecutivos únicos, ninguno de los cuales proporciona el recuento completo de cada valor.

   Un enfoque posible para este problema es usar un objeto Counter de Python del módulo collections. Primero, podemos aplanar el Tensor de PyTorch en una lista de 1D usando los métodos reshape y tolist. Luego, podemos crear un objeto Counter a partir de esta lista y recuperar el recuento de cada elemento usando el método most_common. El siguiente código ilustra este enfoque:

   from collections import Counter
   import torch
   
   # crear un Tensor aleatorio de PyTorch con tamaño 11701*300
   tensor = torch.randn(11701, 300)
   
   # aplanar el Tensor en una lista de 1D
   flat_list = tensor.reshape(-1).tolist()
   
   # crear un objeto Counter y recuperar el recuento de cada elemento
   counts = Counter(flat_list).most_common()
   
   print(counts)
   

   Este código crea un Tensor aleatorio de PyTorch con el tamaño especificado, lo aplanza en una lista de 1D usando reshape y tolist, crea un objeto Counter a partir de esta lista y recupera el recuento de cada elemento usando most_common. La salida debería ser una lista de tuplas donde el primer elemento de cada tupla es el valor y el segundo elemento es el conteo de ese valor. Por ejemplo:

   [(0.123456789, 362), (-0.987654321, 354), (2.718281828, 346), ...]
   

   Este enfoque puede manejar tensores de cualquier tamaño, aunque el uso de memoria puede convertirse en un problema para tensores muy grandes.

Comments are closed.