Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy utilizando el módulo Transformer en pytorch del artículo “Attention is All You Need”. En la página 5, los autores afirman que: En nuestro modelo, compartimos la misma matriz de pesos entre las dos capas embedding y la transformación lineal pre-softmax, similar a [30]. (página 5) La capa de embedding, . . . Read more
Tengo un conjunto de datos que contiene aproximadamente 50 mil registros de títulos de trabajo. Por ejemplo: Desarrollador Python Desarrollador Java Contador Vendedor Desarrollador Programador etc. (Los títulos de trabajo están en alemán, pero para la explicación no importa) Quiero agrupar trabajos similares y para esto quiero utilizar incrustaciones de . . . Read more
¿Cómo puedo calcular la similitud semántica del coseno entre pares de documentos de palabras en R? Específicamente, tengo la trama (es decir, descripciones) de las secuelas de películas y sus películas originales y quiero ver qué tan similar es la trama de la secuela con la película original.
Necesito guardar/acceder/obtener tanto los vectores de contexto como los vectores de objetivo cuando ajusto/entreno mi modelo. Más claramente, Word2vec entrena dos capas de pesos también conocidos como vectores de contexto y vectores de objetivo. Parece que solo puedo guardar/acceder a los vectores de contexto. Aquí está mi código: from Pyspark.ml.feature . . . Read more
Estaba interesado en cómo obtener la similitud de la incrustación de palabras en diferentes oraciones del modelo BERT (en realidad, esto significa que las palabras tienen diferentes significados en diferentes escenarios). Por ejemplo: sent1 = 'Me gusta vivir en Nueva York.' sent2 = 'Nueva York es una ciudad próspera.' Quiero . . . Read more