Tag: AWS-GLUE
¿Es posible tener proyecciones de particiones para las tablas que son creadas por Glue crawlers? Si es así, ¿qué sucederá si el crawler actualiza la tabla? Proyección de particiones: https://docs.aws.amazon.com/athena/latest/ug/partition-projection-setting-up.html Crawlers: https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html
¿Estás buscando una manera de obtener todas las particiones de la tabla que están en Glacier (archivadas)? ¿Es posible hacer eso?
Soy un traductor de documentos de IT y traduzco al español. Traduzca lo siguiente al español. No traduzca el código y la salida en markdown. Soy nuevo en el mundo de AWS Glue. Estoy intentando escribir un archivo avro en S3. Los datos se escriben en la carpeta de S3, . . . Read more
Escribí el siguiente script para ejecutar un trabajo de Glue: import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job from pyspark.sql.functions import * from awsglue.dynamicframe import DynamicFrame args = getResolvedOptions(sys.argv, [‘JOB_NAME’]) sc = SparkContext() glueContext = GlueContext(sc) . . . Read more
Tengo un Flujo de trabajo de Glue que consta de varios trabajos de AWS Glue, y quiero recibir una alerta cuando falle. Actualmente, tengo alarmas de CloudWatch en cada uno de los trabajos individuales que conforman el flujo de trabajo. Los problemas con mi solución actual son que requiere crear . . . Read more