Tag: ALLENNLP
Estoy escribiendo un modelo de análisis de sentimientos en PyTorch. Me gustaría usar mi propio conjunto de datos con torchtext. https://github.com/bentrevett/pytorch-sentiment-analysis Intento modificar el repositorio anterior con torchtext. tokenize = lambda x: x.split() comment= Field(sequential=True , use_vocab=True, tokenize=tokenize, lower=True) Label= Field(sequential=False, use_vocab=False) fields={‘comment’:(‘c’, comment), ‘Label’:(‘L’, Label)} mydata = ‘/content/’ train_data, . . . Read more
Tengo un código que construye un modelo de n-gramas para probar la predicción de la siguiente palabra basada en un corpus proporcionado. ¿Cómo puedo reemplazar el corpus dado para leer el corpus de WSJ como corpus de entrenamiento? A continuación se muestra una parte del programa. import nltk, re, pprint, . . . Read more
He estado resolviendo el problema de NER para un conjunto de datos vietnamitas con 15 etiquetas en formato IO. He estado utilizando la herramienta de interpretación AllenNLP para mi modelo, pero no puedo configurarla completamente. He utilizado un modelo de lenguaje pre-entrenado “xlm-roberta-base” basado en HuggingFace. He concatenado las últimas . . . Read more
Estoy tratando de entrenar un modelo para la clasificación de texto en VertexAI AutoML (Google Cloud) utilizando documentos en español. Importé los documentos como JSON lines e intenté especificar el idioma de cada documento de la siguiente manera: {“textContent”:”Esto está escrito en español”,”languageCode”:”es-ES”,”classificationAnnotations”:[{“displayName”:”Clase A”},{“displayName”:”Clase B”}]} Según el archivo de esquema . . . Read more
Tengo este marco de datos: df = ID join Chapter ParaIndex text 0 NaN 1 0 Soy una prueba 1 NaN 2 1 es fácil 2 1 3 2 pero no tanto 3 1 3 3 muy fácil Quiero obtener esto: (fusionar la columna “texto” con el mismo índice en . . . Read more