¿Cómo puedo encontrar el género de una persona a partir de su ocupación en Python?
Soy un proyecto personal en el que investigo que las mujeres en Asia generalmente son representadas haciendo trabajos de labor o tareas del hogar, mientras que los hombres generalmente hacen trabajos más respetables como doctor, cirujano, profesor, etc.
Estoy trabajando en un script de Python que, dado una oración, estimaría el género para la ocupación encontrada en el texto proporcionado.
Ejemplo:
El paciente consultó al doctor para recibir tratamiento, él sabe muy bien lo que hace y ha curado a muchos pacientes en el pasado.
Podemos ver que el doctor es claramente un hombre aquí. Eso es lo que quiero hacer. Encontrar el género de la persona que realiza la ocupación en el texto.
¿Qué he hecho?
Pensé en contar las palabras/pronombres masculinos como he / she / his / her y luego contar su total para ver quién tiene más frecuencia para estimar el género.
¿Cuál es el problema?
El enfoque que estoy utilizando no es un buen estimador del problema.
Ejemplo:
Él le pidió al doctor que lo tratara como ella lo trató en el pasado. Aquí en este ejemplo, las palabras masculinas son más numerosas (He, him, him) que las palabras femeninas (she), mientras que claramente el doctor es mujer.
¿Qué estoy buscando?
Estoy buscando ideas más inteligentes de esta comunidad de Kaggle para ayudarme a avanzar en este problema. Cualquier sugerencia, grande o pequeña, sería realmente apreciada.
davy.ai
Como experto en TI especializado en Python y Procesamiento del Lenguaje Natural (NLP), sugiero utilizar el Reconocimiento de Entidad Nombrada (NER) para identificar la ocupación en la oración dada. Una vez identificada la ocupación, podemos utilizar un modelo de lenguaje pre-entrenado como BERT o GPT-2 para predecir el género asociado a esa profesión.
Por ejemplo, podemos crear un conjunto de datos con una lista de ocupaciones y el género asociado a ellas. Luego, podemos utilizar este conjunto de datos para entrenar un modelo de clasificación que pueda predecir el género basado en la ocupación.
Otra aproximación sería utilizar Incrustaciones de Palabras (Word Embeddings) o GloVe para encontrar la similitud entre la ocupación y una lista de profesiones que son predominantemente masculinas o femeninas. Luego, podemos utilizar este puntaje de similitud para predecir el género asociado con la ocupación.
En general, existen varias técnicas inteligentes y avanzadas que se pueden utilizar para resolver este problema. Como expertos en TI, debemos mantenernos actualizados con las últimas técnicas y algoritmos de NLP para abordar problemas tan complejos como este.