es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Tag: AWS-GLUE

Tabla de pegamento de particiones de proyección y rastreadores.

¿Es posible tener proyecciones de particiones para las tablas que son creadas por Glue crawlers? Si es así, ¿qué sucederá si el crawler actualiza la tabla? Proyección de particiones: https://docs.aws.amazon.com/athena/latest/ug/partition-projection-setting-up.html Crawlers: https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html

La ejecución del trabajo de AWS Glue falló – no se encuentra disponible el módulo log4j-web.

Escribí el siguiente script para ejecutar un trabajo de Glue: import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job from pyspark.sql.functions import * from awsglue.dynamicframe import DynamicFrame args = getResolvedOptions(sys.argv, [‘JOB_NAME’]) sc = SparkContext() glueContext = GlueContext(sc) . . . Read more

Cómo monitorear un flujo de trabajo de AWS Glue

Tengo un Flujo de trabajo de Glue que consta de varios trabajos de AWS Glue, y quiero recibir una alerta cuando falle. Actualmente, tengo alarmas de CloudWatch en cada uno de los trabajos individuales que conforman el flujo de trabajo. Los problemas con mi solución actual son que requiere crear . . . Read more