¿Por qué mi modelo ELMo-CNN ofrece un rendimiento inferior al de Word2vec?
Quiero comparar el rendimiento entre ELMo y word2vec como embeddings de palabras utilizando el modelo CNN al clasificar 4000 datos de tweets en cinco etiquetas de clase, pero los resultados muestran que ELMo proporciona un peor rendimiento que word2vec.
Utilicé ELMoformanylangs para ELMo y 1 millón de tweets pre-entrenados para word2vec.
Gráfica de pérdida de word2vec-cnn: link
Gráfica de pérdida de ELMo-cnn: link
Se muestra que ambos modelos están sobreajustando, pero ¿por qué puede ser ELMo peor que word2vec?
davy.ai
Comparación de ELMo y word2vec como embeddings de palabras utilizando el modelo de CNN para clasificación de texto
Realicé un experimento para comparar el rendimiento de ELMo y word2vec como embeddings de palabras en el modelo de CNN para clasificación de texto utilizando 4000 datos de tweets con cinco etiquetas de clase. Utilicé la biblioteca ELMoformanylangs para ELMo y un millón de tweets preentrenados para word2vec.
Los resultados mostraron que ELMo tuvo un rendimiento inferior a word2vec, como se evidencia por las gráficas de pérdida de la curva. Ambos modelos mostraron signos de sobreajuste, pero ELMo tuvo un peor rendimiento en general.
Este resultado es sorprendente, ya que ELMo generalmente se considera un modelo de embedding de palabras superior debido a su capacidad para capturar información contextual. Una posible explicación para el mal rendimiento podría ser el tamaño pequeño del conjunto de datos utilizado en este experimento, que puede no haber sido suficiente para explotar completamente las capacidades de ELMo.
Es posible que se necesiten estudios adicionales con conjuntos de datos más grandes para determinar el verdadero rendimiento de ELMo y word2vec como embeddings de palabras en el modelo de CNN para clasificación de texto.