Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy trabajando en Glue en AWS y tratando de probar y depurar en el entorno de desarrollo local. Sigo las instrucciones aquí https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/ para desarrollar el trabajo de Glue localmente. En esa publicación, utilizan la versión 1.0 de Glue para probar y funciona como debería. Sin embargo, cuando cargo e . . . Read more
Estoy trabajando en un proyecto para una gran empresa con millones de usuarios. Estamos intentando convertir su arquitectura basada en REST a una arquitectura basada en eventos. La arquitectura actual involucra un servicio, al que llamaremos Servicio-A, que realiza 7 llamadas REST cuando un usuario inicia sesión. En lugar de . . . Read more
Tengo un trabajo de AWS Glue escrito en Python. Dentro de él hay un gran dataframe de Pandas, y los datos contenidos en él deben ser escritos en DynamoDB. Actualmente estoy utilizando la funcionalidad “write_dynamic_frame” de Glue para lograr esto, ya que maneja problemas como la generación de errores “500 . . . Read more
En la imagen siguiente, ejecutamos el mismo trabajo glue con tres configuraciones diferentes en cuanto a cómo escribimos en S3: Utilizamos un dynamic frame para escribir en S3 Utilizamos un pure spark frame para escribir en S3 Igual que en el punto 1, pero reduciendo el número de nodos de . . . Read more
¿Alguien ha intentado usar AWS GlueStudio y las consultas SQL personalizadas? Actualmente estoy tratando de encontrar la diferencia en días entre dos fechas de la siguiente manera: select datediff(currentDate, expire_date) as days_since_expire Pero en la ventana de vista previa de datos obtengo el siguiente error: AnalysisException: no se puede resolver . . . Read more