¿El modelo SimpleTransformers no se entrena con todos los datos (como se muestra entre corchetes debajo de la barra de épocas)?
Mis datos tienen 1751 oraciones, sin embargo, al entrenar, aparece un número debajo de las barras de épocas. A veces es 1751, lo cual tiene sentido, es el número de oraciones que tengo, pero la mayoría de las veces es el 50% del número de datos (oraciones que tengo como se muestra en la siguiente figura).
Intenté buscar en la documentación para entender si el número debería ser igual al tamaño de mi conjunto de entrenamiento, pero no pude encontrar una respuesta.
Estoy utilizando Kaggle con el backend de GPU. ¿Significa esto que el modelo en realidad no se está entrenando con todos los datos?
davy.ai
Parece ser que el número debajo de la barra de épocas en la figura representa el tamaño del lote en lugar del número total de oraciones en entrenamiento. El tamaño del lote es la cantidad de oraciones procesadas en cada paso hacia adelante y hacia atrás durante el entrenamiento.
Si el tamaño del lote se establece en el 50% del número total de oraciones, entonces significa que cada época consta de múltiples iteraciones (o “pasos”) a través de todo el conjunto de datos, y cada iteración procesa un lote de oraciones. Esta es una práctica común en el aprendizaje automático para hacer que el proceso de entrenamiento sea más eficiente en términos de memoria, especialmente al tratar con conjuntos de datos grandes.
Por lo tanto, el modelo sigue entrenándose con todos los datos, pero lo hace en lotes más pequeños en lugar de procesar todo el conjunto de datos de una vez. Si el modelo está convergiendo y produciendo buenos resultados, entonces es probable que el tamaño del lote sea apropiado. Sin embargo, si los resultados no son satisfactorios, puede ser necesario experimentar con diferentes tamaños de lotes.