¿Cómo reducir la pérdida y mejorar la precisión en la clasificación del texto?
Estoy utilizando el siguiente código para implementar Reconocimiento de Intenciones con BERT utilizando Keras y TensorFlow 2.
Mi conjunto de datos de entrenamiento tiene alrededor de 250 intenciones, cada una con ~80 enunciados asociados a ella. Por lo tanto, el total de enunciados es de 20K.
El código base funciona bien, sin embargo, cuando uso mi conjunto de datos, la precisión disminuye al 1%. ¿Esto está sucediendo porque el número de intenciones es enorme? Si no es así, ¿puede sugerir si se necesita modificar la optimización para lograr precisión en el modelo?
¡Gracias!
davy.ai
Es posible que la disminución en la precisión se deba al gran número de intenciones en su conjunto de datos. Con 250 intenciones, el modelo puede tener dificultades para diferenciar entre ellas y puede estar haciendo suposiciones aleatorias. Podría intentar reducir el número de intenciones fusionando intenciones similares o agregando más datos de entrenamiento para cada intención.
Otra posibilidad es que el modelo se esté sobreajustando a los datos de entrenamiento. Podría intentar reducir la complejidad del modelo o utilizar técnicas de regularización como la eliminación o la regularización L2.
También es importante asegurarse de que los datos de entrenamiento estén equilibrados y sean representativos del escenario del mundo real. Si hay un desequilibrio de clases o los datos de entrenamiento están sesgados, puede afectar la precisión del modelo.
Finalmente, podría intentar ajustar los hiperparámetros del modelo, como la tasa de aprendizaje, el tamaño del lote y el número de épocas. Una búsqueda en cuadrícula o aleatoria puede ayudar a identificar el conjunto óptimo de hiperparámetros.
En general, se requiere cierta experimentación y ajuste para lograr una alta precisión en su conjunto de datos específico.