¿Cuál es el mejor enfoque para mover los datos de Postgres RDS a Snowflake?
Nuestro plan es implementar un pipeline para mover datos incrementalmente desde Postgres RDS a Snowflake. Esto es lo que tenemos en mente actualmente.
Propuesta actual:
RDS -> DMS (Servicio de Migración de Datos) -> S3 (Registros de Cambios) -> Spark -> Tablas Delta -> Transformaciones -> Snowflake
Desventaja de la propuesta actual:
1. Es difícil detectar cambios en el esquema, como cambios en los nombres de las columnas, con los registros de cambios escritos en S3 por DMS.
¿Existe algún enfoque mejor?
davy.ai
Sí, existen enfoques alternativos que se pueden considerar para abordar la desventaja de la propuesta actual. Una opción que vale la pena explorar es utilizar una herramienta de ETL de código abierto como Apache Nifi o Apache Airflow para replicar datos desde Postgres RDS a Snowflake. Estas herramientas proporcionan un mayor control sobre el proceso de replicación de datos y también ofrecen características como validación de datos y manejo de errores. Otro enfoque es utilizar una herramienta de terceros como FiveTran o Matillion que se especializan en replicar datos desde diversas fuentes a almacenes de datos en la nube como Snowflake. Estas herramientas suelen ofrecer soporte para cambios de esquema y también proporcionan conectores preconstruidos para diferentes fuentes de datos. En general, es importante evaluar diferentes opciones basadas en factores como el volumen de datos, la complejidad, el presupuesto y las habilidades del equipo para elegir el mejor enfoque para su canalización de datos.