¿Por qué Torch entrena utilizando mini-batches?

Actualmente estoy tratando de entender cómo entrenar modelos a través de pytorch. Y mientras hacía esto, vi una característica bastante interesante: pasar datos de entrenamiento en mini lotes. Por ejemplo.

Aquí hay un fragmento de código del sitio web oficial de pytorch:

...

data_dir = 'data/hymenoptera_data'
image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x),
                                          data_transforms[x])
                  for x in ['train', 'val']}
dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=4,
                                             shuffle=True, num_workers=4)
              for x in ['train', 'val']}

...

for inputs, labels in dataloaders[phase]:
    inputs = inputs.to(device)
    labels = labels.to(device)

optimizer.zero_grad()

with torch.set_grad_enabled(phase == 'train'):
    outputs = model(inputs)
    _, preds = torch.max(outputs, 1)
    loss = criterion(outputs, labels)

...

Según este código, los inputs que se pasan al modelo son mini lotes.

He intentado encontrar información al respecto, pero sin éxito.

Pero tengo mucha curiosidad, ¿es algún tipo de mejora (ejecución paralela, etc.) o algo necesario? ¿Te importaría ayudarme a entenderlo y decirme por qué se pasa un mini lote a la función de entrenamiento?

N.B. No me negaría a un enlace al artículo [sonriente :)].