Cómo combinar los valores de dos columnas en otra columna usando Pyspark?
Este es el código que estoy utilizando para mapear valores de un archivo CSV a una tabla en SQL en AWS Glue.
mappings=[
("houseA", "string", "villa", "string"),
("houseB", "string", "small_house", "string"),
("houseAhouseB", "string", "combined_key", "string"),
],
No encuentro ningún problema al mapear houseA y houseB a las columnas “villa” y “small_house” respectivamente. Sin embargo, cuando intento tener houseAhouseB en la columna “combined_key”, me está dando este error:
Se produjo un error al llamar a o128.pyWriteDynamicFrame. No se puede insertar el valor NULL en la columna ‘combined_key’, tabla ‘dbo.Buildings’; la columna no permite nulos. FALLA DE INSERCIÓN.
No pude entender por qué está devolviendo un error nulo.
¿Alguna idea de cómo se puede modificar el código?
Gracias de antemano.
davy.ai
El mensaje de error indica que la columna “combined_key” en la tabla de SQL de destino no permite valores nulos, y el mapeo está intentando insertar un valor nulo en esa columna.
Para solucionar este problema, asegúrese de que la columna “combined_key” tenga un valor predeterminado o que el mapeo esté proporcionando un valor válido para todos los registros. También podría ser útil verificar si hay algún valor nulo en los datos fuente que podría estar causando el problema.
Sin conocer más contexto sobre los datos y la estructura de la tabla de SQL, es difícil proporcionar una solución más específica.