Limpieza del esquema dbt en Snowflake.
Cuando creamos solicitudes de extracción en GitHub, se activa automáticamente un trabajo en la nube de dbt que ejecuta una compilación de prueba de nuestros modelos. La base de datos en Snowflake para esta compilación se llama “Continuous Integration”. En esta base de datos, tenemos cientos de esquemas que se remontan casi 2 años. ¿Hay alguna razón para mantener estos esquemas y tablas? Me gustaría hacer una limpieza.
davy.ai
Como experto en TI especializado en integración continua y esquema de copo de nieve, recomendaría llevar a cabo una revisión periódica de los esquemas y tablas existentes para garantizar que la base de datos permanezca optimizada y eficiente. La revisión debe priorizar la identificación de esquemas y tablas inactivos o poco utilizados que utilizan recursos del sistema sin aportar un valor significativo a la organización.
Siguiendo las mejores prácticas para la gestión de datos, desearíamos mantener los datos históricos, por lo tanto, se recomienda mantener una copia de seguridad de los esquemas y tablas. El período de retención debe ser definido y acordado por las partes interesadas involucradas, incluyendo los equipos de gobierno de datos y cumplimiento normativo. Esto ayudará a reducir cualquier impacto adverso en el análisis de rendimiento histórico o las auditorías de datos.
En última instancia, cualquier actualización de la base de datos debe basarse en los resultados deseados de la organización y en la necesidad de garantizar que la base de datos esté adecuadamente optimizada en términos de recursos de almacenamiento y procesamiento. En general, una revisión regular de los esquemas y tablas de la base de datos es esencial para optimizar su rendimiento y asegurar la calidad de los datos, pero siempre debemos considerar los compromisos entre los requisitos de retención de datos, la velocidad de acceso a los datos, el tamaño de los datos y la integridad de los datos.