Tag: AWS-GLUE
Dentro de una función de Map.apply() en un DynamicFrame de AWS Glue, estoy intentando acceder a datos de una columna JSON anidada, pero el DynamicFrame devuelto está vacío. Estructura de datos: root |– id: string |– policyId: string |– productId: string |– createdBy: string |– status: string |– data: struct . . . Read more
Tengo un código que convierte un DataFrame a DynamicFrame y estoy recibiendo un extraño error al tratar de ejecutar la declaración de retorno, ¿tienen alguna pista de lo que está sucediendo? Error: {AttributeError} el objeto ‘str’ no tiene un atributo ‘_jvm’ registro es un DynamicFrame def extractCustomFields(registro, ctx): rec = . . . Read more
Necesito agregar una nueva columna a DataFrame (DynamicFrame) basado en datos json de otra columna ¿Cuál es la mejor manera de hacerlo? Esquema: ‘id’ ‘name’ ‘customJson’ 1, John, {‘key’:’lastName’,’value’:’Smith’} Después: ‘id’ ‘name’ ‘lastName’ ‘customJson’ 1, John, Smith, {‘key’:’lastName’,’value’:’Smith’} Intenté con withColumn pero no estoy seguro de cómo obtener y calcular . . . Read more
Tengo datos que contienen una matriz de cadenas en documentdb. Pero cuando los vuelco a Redshift mediante glue, toda la matriz se trata como una cadena. Sé que no hay una forma directa de convertirlo en una matriz en Redshift, ¿hay alguna otra forma de hacerlo?
Tengo JSON almacenado en S3. A veces, “units” se almacena como una cadena y otras veces se almacena como un entero. Desafortunadamente, esto fue un error y ahora tengo miles de millones de registros con tipos de datos mezclados en el JSON fuente. ejemplo: { “other_stuff”: “stuff”, “units”: 2, } . . . Read more