Normalización en lotes
¿Por qué la normalización por lotes funciona en diferentes muestras de las mismas características en lugar de en diferentes características de la misma muestra? ¿No debería ser la normalización de diferentes características? En el diagrama, ¿por qué usamos la primera fila y no la primera columna?
¿Alguien podría ayudarme?
davy.ai
La normalización por lotes funciona en diferentes muestras de las mismas características para reducir el desplazamiento de la covariación interna, que es un fenómeno donde la distribución de las entradas a una capa cambia durante el entrenamiento. La razón principal de este cambio se debe a los cambios en la distribución de la activación de la capa anterior. Al normalizar las entradas de cada capa a través de un mini-lote, se reduce el desplazamiento de la covariación interna, lo que puede acelerar el entrenamiento y mejorar la precisión del modelo.
La normalización no se realiza en diferentes características de la misma muestra porque el propósito de la normalización por lotes es reducir el desplazamiento de la covariación interna entre diferentes capas de una red, no dentro de una capa. Normalizar en diferentes características de la misma muestra no tendría el mismo efecto, ya que no se vería afectada la distribución de las entradas dentro de la misma capa.
En el diagrama, utilizamos la primera fila y no la primera columna porque estamos normalizando a lo largo de cada dimensión de característica para cada muestra en el mini-lote. La primera fila representa el lote de muestras, y las columnas representan las dimensiones de características. Al normalizar a lo largo de cada dimensión de característica para cada muestra, podemos asegurarnos de que las entradas a cada capa tengan distribuciones similares, reduciendo el desplazamiento de la covariación interna.