Tag: BERT-LANGUAGE-MODEL
Estoy aprendiendo Quantization, y estoy experimentando con Sección 1 de este cuaderno. Quiero usar este código en mis propios modelos. Hipotéticamente, solo necesito asignar a la variable model en Sección 1.2 <h1>cargar modelo</h1> model = BertForSequenceClassification.from<em>pretrained(configs.output</em>dir) model.to(configs.device) Mis modelos son de una biblioteca diferente: from transformers import pipeline. Entonces .to() . . . Read more
Intenté encontrar el código fuente de la atención multihead pero no pude encontrar ningún detalle de implementación. Me pregunto si este módulo solo contiene la parte de atención en lugar de todo el bloque transformador (es decir, no contiene la capa de normalización, la conexión residual y una red neuronal . . . Read more
cómo implementar BERT en rasa con Hugging Face Transformers y qué se necesita para ejecutar el modelo Bert en rasa? receta: defecto.v1 *# Configuración para Rasa NLU. # https://rasa.com/docs/rasa/nlu/components/* idioma: en tubería: *# cómo implementar este BERT en rasa* – nombre: HFTransformersNLP pesos_del_modelo: "bert-base-uncased" nombre_del_modelo: "bert" – nombre: LanguageModelTokenizer – . . . Read more
Mis datos tienen 1751 oraciones, sin embargo, al entrenar, aparece un número debajo de las barras de épocas. A veces es 1751, lo cual tiene sentido, es el número de oraciones que tengo, pero la mayoría de las veces es el 50% del número de datos (oraciones que tengo como . . . Read more
Tengo varios modelos de lenguaje enmascarados (principalmente Bert, Roberta, Albert, Electra). También tengo un conjunto de datos de oraciones. ¿Cómo puedo obtener la perplejidad de cada oración? En la documentación de huggingface aquí, mencionan que la perplejidad “no está bien definida para modelos de lenguaje enmascarados como BERT”, aunque todavía . . . Read more