Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo un código Python simple a continuación. Esto está escrito en el escritorio, ahora quiero recrear esto en AWS Glue o Lambda, tengo que leer el archivo de prueba testfile.csv desde un directorio de S3 y guardarlo en un archivo txt como se muestra a continuación. ¿Cómo puedo recrear esta . . . Read more
Supongamos que hay tres trabajos de pegamento, que son A, B, C A y B son trabajos diarios, y C es un trabajo mensual. Quiero que estos trabajos se ejecuten en el siguiente orden: – A (diariamente) -> B (diariamente, pero solo cuando A tiene éxito) -> C (mensualmente, pero . . . Read more
Estoy tratando de seguir la documentación de AWS Glue para desarrollar un programa en Scala y crear un nuevo trabajo de Glue. Hasta ahora, estos han sido mis pasos: Construí un programa de muestra en Scala siguiendo las indicaciones de https://docs.aws.amazon.com/glue/latest/dg/glue-etl-scala-example.html. Agrupé la clase principal de Scala en un archivo . . . Read more
Tengo un trabajo de Glue que lee un montón de archivos JSON de S3, crea un DynamicFrame y escribe el resultado en otro bucket de S3. De esos archivos estoy seleccionando un campo id. Hasta hace poco, eso era un número pequeño y podía caber en un IntegerType de Spark . . . Read more
Recientemente, AWS anunció Amazon EMR Serverless (Preview) https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/ – un nuevo servicio muy prometedor. Según entiendo, AWS Glue es un servicio administrado sobre Apache Spark (para la capa de transformación). AWS EMR también se utiliza principalmente para Apache Spark. Así que EMR Serverless (para Apache Spark) parece ser algo muy . . . Read more