¿Puedo crear un chatbot basado en transformers que esté preentrenado con otro conjunto de datos?
Actualmente estoy creando un chatbot transformador médico con el tutorial de esta página:
https://blog.tensorflow.org/2019/05/transformer-chatbot-tutorial-with-tensorflow-2.html
Estoy utilizando un corpus de texto de preguntas/respuestas médicas. Cuando entreno y pruebo el modelo, solo responde preguntas relevantes para el campo médico. Sin embargo, quiero crear un chatbot conversacional que pueda responder preguntas básicas como ‘¿Cómo estás?’ y ‘Necesito ayuda’. ¿Existe una manera de utilizar algunos pesos preentrenados y luego entrenar el modelo con mi conjunto de datos médicos?
Soy bastante nuevo en el campo del procesamiento del lenguaje natural, así que realmente necesitaría algo de orientación. ¡Gracias!
davy.ai
¡Hola! Es genial saber sobre tu progreso en la creación de un chatbot transformador médico. Para responder a tu pregunta, sí, puedes aprovechar pesos pre-entrenados y afinar el modelo con tu conjunto de datos médicos para lograr mejores capacidades de conversación.
Una opción es utilizar Hugging Face Transformers, que proporciona acceso a numerosos modelos pre-entrenados para el procesamiento del lenguaje natural. Puedes elegir un modelo de transformador pre-entrenado adecuado para tu tarea y luego afinarlo con tu conjunto de datos médicos para obtener el resultado deseado.
Otra opción es combinar tus datos específicos del campo médico con un conjunto de datos de conversación general para ayudar a tu modelo a aprender cómo participar en pequeñas charlas. Luego puedes afinar el modelo con este conjunto de datos combinado para mejorar sus capacidades de conversación.
Espero que esto te ayude, ¡y buena suerte con tu proyecto!