Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Supongamos que tenemos un bucket de s3 llamado test y una carpeta llamada files dentro de ese bucket. En esta carpeta hay dos archivos de texto: file1.txt y file2.txt. El archivo file1.txt contiene la siguiente línea: a = a+6. El archivo file2.txt contiene la siguiente línea: a = a*11. Si . . . Read more
Estoy usando AWS Glue Crawler. Quiero ejecutar este crawler tres veces al día. Tengo algunas preguntas al respecto: Quiero ejecutar el Crawler tres veces al día a las 6 AM, 2 PM, 10 PM UTC. ¿Cuál debería ser la expresión cron para eso? Actualización: La siguiente expresión cron funciona perfectamente . . . Read more
Estoy intentando usar la función glueContext.purge_table en mi trabajo de AWS Glue. Cada vez que se ejecuta el trabajo, se produce el siguiente error: Se produjo un error al llamar a o82.purgeTable. : java.lang.RuntimeException: class com.amazonaws.services.gluejobexecutor.model.AccessDeniedException: El usuario: arn:aws:sts::012345678:assumed-role/XYZ/GlueJobRunnerSession no tiene autorización para realizar lakeformation:GetDataAccess en el recurso: arn:aws:glue:us-east-1:MICHIGAN_DEFAULT_CATALOG_ID_RANDOMIZED:table/database/table (Servicio: . . . Read more
Desarrollé una biblioteca personalizada de Python que coloqué en un cubo de S3, y ahora quiero usar Zeppelin con el intérprete de pyspark para interactuar con ella. Sin embargo, no puedo encontrar una forma de hacerlo. ¿Alguien sabe cómo hacerlo? Cosas que he intentado: En Glue es posible incluir una . . . Read more
Tengo un trabajo de pegamento en CDK que se ve así: const job = new Job(scope, `${appName}${stageName}GlueJobCloudTrailLogs`, { executable: JobExecutable.pythonEtl({ glueVersion: GlueVersion.V3_0, pythonVersion: PythonVersion.THREE, script: Code.fromAsset(path.join(__dirname, ‘cloud_trail_logs.py’)), }), role: glueRole, jobName: `${appName}${stageName}GlueJobCloudTrailLogs`, continuousLogging: { enabled: true, logGroup, }, }); Cuando voy a CloudWatch para ver el grupo de registro personalizado . . . Read more