@pytest.mark.parametrize( “options”, [ dict(max_instances_in_memory=10, num_workers=2, batch_size=1), dict(num_workers=2, batch_size=1), dict(max_instances_in_memory=10, num_workers=2, start_method=”spawn”, batch_size=1), dict(num_workers=2, start_method=”spawn”, batch_size=1), dict(max_instances_in_memory=10, num_workers=0, batch_size=1), dict(num_workers=0, batch_size=1), ], ids=str, ) def test_multiprocess_data_loader(options): reader = MockDatasetReader() data_path = “esto no importa” loader = MultiProcessDataLoader(reader=reader, data_path=data_path, **options) if not options.get(“max_instances_in_memory”): # Las instancias deberían ser cargadas inmediatamente si max_instances_in_memory . . . Read more
Nuevo en python. ¿Cómo puedo modificar la clase para filtrar archivos en la carpeta con una cadena? En este momento devuelve todos los archivos en la carpeta que contienen la carpeta de contenido, lo cual podría ser millones de elementos. Lo siguiente funciona, sin embargo, me gustaría aislar los archivos . . . Read more
Estoy enfrentando algunos problemas para escribir la función getitem() en mi clase de conjunto de datos. Estoy trabajando en un conjunto de datos de resonancia magnética (3D). Cada archivo consta de 160 cortes en formato DICOM. He transformado los archivos DICOM en formato PNG. La estructura de los archivos se . . . Read more
Estoy utilizando Pytorch para ejecutar un modelo Transformer. Cuando quiero dividir los datos (datos tokenizados), utilizo este código: train_dataset, test_dataset = torch.utils.data.random_split( tokenized_datasets, [train_size, test_size]) torch.utils.data.random_split utiliza el método de mezcla, pero no quiero mezclarlos. Quiero dividirlos de forma secuencial. ¿Alguna sugerencia? Gracias.
Estaba tratando de ejecutar un autoencoder utilizando un nodo HPC que tenía 2 CPUs y cada una de ellas tenía 20 núcleos (por lo tanto, 40 CPUs por nodo). Al usar torch.utils.data.DataLoader, especifiqué num_workers como 40 en lugar de 20, ya que pensé que había 40 núcleos de CPU disponibles. . . . Read more