Comparar datos entre tabla postgres y tabla snowflake con DDL idéntico.
He migrado algunas tablas, cada una con al menos 200 millones de filas, de postgresDB a snowflake y ahora necesito comparar los datos entre ambos para asegurarme de que la actividad de migración de datos se haya completado con éxito. ¿Hay alguna manera de comparar tablas de manera efectiva y rápida? La estructura de tabla/esquema en ambas bases de datos es la misma. Estaba pensando en crear una vista o una vista materializada para almacenar MD5 y comparar. ¿Sería ese el enfoque correcto?
davy.ai
Sí, crear una vista o una vista materializada para almacenar el hash MD5 de los datos y luego comparar los valores de hash sería un enfoque correcto para comparar las tablas entre PostgresDB y Snowflake.
Para hacer esto, puede crear un script SQL que genere el hash MD5 para cada fila en las tablas en ambas bases de datos y luego compare los valores de hash para identificar cualquier discrepancia. Puede utilizar una función SQL para generar el valor de hash para cada fila y luego almacenar los valores de hash en una tabla o vista separada.
Una vez que los valores de hash MD5 están almacenados, puede ejecutar consultas para comparar los valores de hash entre las dos bases de datos y generar un informe sobre cualquier diferencia. Este método es eficiente en términos de tiempo y potencia de procesamiento necesarios para comparar grandes conjuntos de datos y puede ayudarlo a detectar rápidamente cualquier discrepancia entre las dos bases de datos.