Tag: BERT-LANGUAGE-MODEL
Estoy probando el código proporcionado por este video tutorial de BERT: https://www.youtube.com/watch?v=7kLi8u2dJz0. Sin embargo, me encuentro atascado al intentar importar los paquetes a continuación: import tensorflow_hub as hub import tensorflow_text as text El error mostrado es: ImportError: no se puede importar el nombre ‘dnn_logit_fn_builder’ del módulo parcialmente inicializado ‘tensorflow_estimator.python.estimator.canned.dnn’ (probablemente . . . Read more
Código de Github: https://github.com/bellowman/Deep-Learning-Practice/blob/main/BioBert%20for%20Multi%20Label%20AMD.ipynb Hola a todos, Soy principiante en pytorch, tensorflow y BERT. Tengo una máquina en casa con un AMD Ryzen 7 1800x y una tarjeta de video Radeon RX 6600. Estoy intentando ejecutar un modelo de bioBERT en casa. Tengo problemas para hacer que mi modelo use . . . Read more
Quiero entender el modelo BertForMaskedLM, en el código de Github de HuggingFace. BertForMaskedLM es un modelo bert con 2 capas lineales adicionales con forma (entrada 768, salida 768) y (entrada 768, salida 30522). El conteo de todos los pesos sería los pesos de BertModel + 768 * 768 + 768 . . . Read more
Estoy tratando de cargar el modelo de lenguaje bert: import numpy as np from tensorflow import keras from keras_bert import load_trained_model_from_checkpoint import tokenization folder = “multi_cased_L-12_H-768_A-12” config_path = folder+’/bert_config.json’ checkpoint_path = folder+’/bert_model.ckpt’ vocab_path = folder+’/vocab.txt’ tokenizer = tokenization.FullTokenizer(vocab_file=vocab_path, do_lower_case=False) model = load_trained_model_from_checkpoint(config_path, checkpoint_path, training=True) model.summary() y obtuve el siguiente error: . . . Read more
Tengo un modelo de representación simple de transformers afinado. Ahora quiero guardar los pesos solo de la capa de agrupación en formato pickle y colocarlos en la capa de agrupación de otro autoencoder personalizado que estoy diseñando. ¿Cómo puedo hacer esto usando PyTorch y Python?