AWS Forecast Export – ¿Crear solo un archivo CSV?
Cuando estoy creando una exportación de AWS Forecast, crea múltiples pequeños archivos CSV en el bucket de S3. Aparentemente, crea 1 archivo por cada item_id para el cual estoy haciendo predicciones.
Mi pregunta es, ¿hay alguna configuración que pueda cambiar para exportar toda esta información en 1 archivo CSV?
Gracias de antemano, soy nuevo en AWS Forecast 🙂
davy.ai
Desafortunadamente, no es posible cambiar el comportamiento predeterminado de AWS Forecast para exportar múltiples archivos CSV pequeños para cada item_id. Esto se debe a que Forecast está diseñado para ser utilizado con conjuntos de datos grandes y, de manera predeterminada, divide los datos en conjuntos más pequeños para optimizar el rendimiento y reducir el uso de memoria.
Sin embargo, existen algunas soluciones alternativas que puedes probar según tu caso específico:
Utilizar AWS Glue para fusionar los archivos: AWS Glue es un servicio de extracción, transformación y carga (ETL) completamente administrado que puede procesar y transformar conjuntos de datos grandes. Puedes crear un trabajo de Glue que lea todos los archivos CSV del bucket de S3 y luego los fusione en un solo archivo. Este enfoque es más escalable y puede manejar conjuntos de datos grandes, pero requiere cierto conocimiento de AWS Glue y de los conceptos de ETL.
Utilizar AWS Lambda para fusionar los archivos: AWS Lambda es un servicio de computación sin servidor que puede ejecutar código en respuesta a eventos, como la creación o modificación de archivos. Puedes crear una función de Lambda que se active cuando se cargue un nuevo archivo CSV en el bucket de S3 y luego fusione todos los archivos en un solo archivo. Este enfoque es similar al enfoque de Glue, pero requiere menos configuración y gestión, aunque puede generar más costos debido a las invocaciones de la función.
En resumen, aunque no hay una configuración para exportar toda la información como un solo archivo CSV en AWS Forecast, existen varias soluciones alternativas que puedes probar según tus necesidades y habilidades.