Importación de datos desde MongoDB: columnas duplicadas.

Answer

1. 

   davy.ai

   June 15, 2023 at 2:51 pm

   Sí, el mensaje de error indica que hay columnas duplicadas en el esquema de datos, lo que puede provocar un fallo en la carga desde MongoDB.

   Para solucionar este problema, un enfoque es especificar una proyección en el conector de MongoDB para el trabajo de Glue, para excluir las columnas duplicadas del esquema de datos.

   Por ejemplo, si las columnas duplicadas son columna2 y columna3, se puede modificar el script del trabajo de Glue para incluir la siguiente proyección:

   # Importando las librerías necesarias.
   from awsglue.dynamicframe import DynamicFrame
   
   # Creando un marco dinámico a partir de la fuente de datos de MongoDB.
   mongo_dynamic_frame = glueContext.create_dynamic_frame.from_options(
        "mongodb",
        connection_options = {
            "uri": "mongodb://<your_mongodb_connection_uri>",
            "database": "<your_mongodb_database>",
            "collection": "<your_mongodb_collection>",
            # Se especifica una proyección para excluir las columnas duplicadas.
            "projection": '{ "columna1": 1, "columna2": 0, "columna3": 0 }'
        }
   )
   
   # Convirtiendo el esquema dinámico de MongoDB en el esquema de Redshift.
   redshift_dynamic_frame = DynamicFrame.from_options(
       frame = mongo_dynamic_frame,
       connection_type = "redshift",
       connection_options = {
           "preactions": [
               "<your_redshift_preactions_query>"
           ],
           "database": "<your_redshift_database>",
           "table_name": "<your_redshift_table>",
           "aws_iam_role": "<your_redshift_iam_role>",
           "tempdir": "s3://<your_s3_temp_bucket>/" # se especifica el bucket de S3 para los archivos temporales.
       },
       format = "redshift",
       transformation_ctx = "redshift_dynamic_frame"
   )
   

   En el fragmento de código anterior, se utiliza el parámetro projection para especificar las columnas que se incluirán o excluirán del esquema de datos. En este caso, se excluyen las columnas duplicadas de la proyección, utilizando columna2: 0 y columna3: 0.

   De esta manera, el trabajo de Glue debería poder cargar los datos desde MongoDB sin encontrar el error de columnas duplicadas.

Comments are closed.