Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo un cubo en S3 y muchas carpetas dentro de ese cubo. En cada carpeta tengo de 5 a 6 archivos. Quiero mover estos archivos a Redshift. Estoy utilizando AWS crawler y Glue para mover los archivos. Sin embargo, cuando ejecuto el crawler, solo se agrega una tabla al catálogo . . . Read more
¿Hay algún problema con usar “value” como nombre de columna en pyspark? Estoy obteniendo este error: Se produjo un error al llamar a o953.pyWriteDynamicFrame. Error de sintaxis en el nombre del atributo: manualReviewReasons[struct].value
Estoy usando la versión 3.0 de Glue, la versión 3 de Python y la versión 3.1 de Spark. Estoy extrayendo datos de un archivo XML para crear un dataframe y escribiendo los datos en un camino de S3 en formato CSV. Antes de escribir el dataframe, imprimí el esquema y . . . Read more
Buen día a todos, A continuación se muestra un fragmento de mi código de invocación lambda con boto3: lambda_client = boto3.client('lambda', region_name='eu-west-1') json_payload = json.dumps(data) lambda_response = lambda_client.invoke(target_lambda_arn, 'RequestResponse', json_payload) En mi opinión, esto solo debería invocar una lambda, ya que es una sola llamada, pero si miro las métricas . . . Read more
Estoy ejecutando trabajos de Spark en EKS y estos trabajos se envían desde cuadernos Jupyter. Tenemos todas nuestras tablas en un bucket de S3 y sus metadatos se encuentran en Glue Data Catalog. Quiero usar Glue Data Catalog como el metastore de Hive para estos trabajos de Spark. Veo que . . . Read more