Tag: AWS-GLUE-DATA-CATALOG
Resumen del problema: Fallo al consultar datos a través de AWS Athena en una tabla Delta Lake (en S3). Creo que el problema ocurre específicamente si la cuenta tiene habilitada Lake Formation. Pasos para replicar: Asegúrese de hacer esto en una cuenta de AWS nueva, o una cuenta que aún . . . Read more
El nombre predeterminado del archivo de salida del trabajo de AWS Glue comienza con jr_. Cuando hago referencia a estos registros en Cloud Watch logstream, es muy difícil encontrar un trabajo específico. ¿Alguien sabe si puedo renombrarlos o agregar un prefijo/sufijo?
Estoy tratando de utilizar Redshift Spectrum para consultar datos en s3. Los datos han sido rastreados por Glue, he ejecutado trabajos exitosos de perfil de datos en los archivos con DataBrew (por lo que sé que Glue los ha leído correctamente) y puedo ver las tablas correctas en el editor . . . Read more
Tengo un cubo en S3 y muchas carpetas dentro de ese cubo. En cada carpeta tengo de 5 a 6 archivos. Quiero mover estos archivos a Redshift. Estoy utilizando AWS crawler y Glue para mover los archivos. Sin embargo, cuando ejecuto el crawler, solo se agrega una tabla al catálogo . . . Read more
Estoy ejecutando trabajos de Spark en EKS y estos trabajos se envían desde cuadernos Jupyter. Tenemos todas nuestras tablas en un bucket de S3 y sus metadatos se encuentran en Glue Data Catalog. Quiero usar Glue Data Catalog como el metastore de Hive para estos trabajos de Spark. Veo que . . . Read more