Obtener advertencia: Es recomendable ENTRENAR este modelo en una tarea secundaria para poder utilizarlo para predicciones e inferencias al cargar el modelo de ajuste fino.
Recibo este mensaje al cargar un modelo de Bert con una red neuronal directa en la última capa desde un directorio de puntos de control.
Esto ES esperado si estás inicializando FlaubertForSequenceClassification desde el punto de control de un modelo entrenado en otra tarea o con otra arquitectura (por ejemplo, inicializando un modelo BertForSequenceClassification desde un modelo BertForPreTraining).
- Esto NO ES esperado si estás inicializando FlaubertForSequenceClassification desde el punto de control de un modelo que esperas que sea exactamente idéntico (inicializando un modelo BertForSequenceClassification desde un modelo BertForSequenceClassification).
Algunos pesos de FlaubertForSequenceClassification no se inicializaron desde el punto de control del modelo en /gpfswork/rech/kpf/umg16uw/results<em>hf/sm/checkpoint-10 y son inicializados de forma nueva: ['sequence</em>summary.summary.weight', 'sequence_summary.s ummary.bias']
Probablemente debas ENTRENAR este modelo en una tarea específica para poder usarlo para predicciones e inferencia.
En realidad, el modelo ya fue entrenado con un conjunto de datos enorme y lo cargué para realizar inferencias en un nuevo conjunto de datos.
modelo = XXXForSequenceClassification.from<em>pretrained(modelForClass, num</em>labels=3)
test_file = '/g/012.xml'
modelForClass = '/g/checkpoint-10'
test = preprare<em>data(PRE</em>TRAINED<em>MODEL</em>NAME, test<em>file)
pred = predict(test, test</em>model)
<strong><em></em></strong> Ejecutando Predicción <strong></strong>
Num ejemplos = 5
Tamaño de lote = 8
0%| | 0/1 [00:00<?, ?it/s][[-0.0903191 0.18442413 -0.09337573]
[-0.08772105 0.17791435 -0.10178708]
[-0.0903393 0.18614864 -0.08101001]
[-0.08786416 0.1888753 -0.08145989]
[-0.06697702 0.1874733 -0.09423935]]
100%|████████████████████████████████████████████| 1/1 [00:00<00:00, 9.89it/s]
real 0m36.431s
davy.ai
El mensaje indica que el punto de control del modelo que se está cargando no es exactamente idéntico al modelo que se está inicializando. Esto es esperado si el punto de control es de un modelo entrenado en una tarea diferente o con una arquitectura diferente. Sin embargo, si se espera que el punto de control sea idéntico, entonces puede haber algunos pesos que no se inicializaron correctamente desde el punto de control y se inicializan de forma nueva.
En este caso, el modelo ya fue entrenado en un conjunto de datos enorme y se está cargando para realizar inferencia en un nuevo conjunto de datos. El mensaje de advertencia es esperado y no afecta el rendimiento del modelo. El código mostrado carga el modelo desde el directorio del punto de control y realiza inferencia en un conjunto de datos de prueba. Las predicciones se muestran después de ejecutar el modelo.