Cómo manejar la entrada manual dentro de su almacén de datos.
Recientemente me uní a una organización y recientemente introdujimos una solución de Almacén de Datos (Snowflake) que incorpora una gran cantidad de sistemas externos (CRM, etc.). Hay casos de uso para ingresar datos manuales semanalmente (por ejemplo, objetivos de ventas). Esta es un área en la que estoy teniendo problemas.
En un mundo ideal, todos los sistemas se integrarían perfectamente y formarían los datos principales dentro del DW.
Pero la realidad es que probablemente necesitaremos mantener la entrada de datos manual para crear una imagen completa (al menos hasta que podamos encontrar una solución a largo plazo).
Hasta ahora, he pensado en Excel/Google Sheet como entrada manual en un servicio de backend que poblara tablas de BD en el servidor de staging.
¿Alguien aquí tiene experiencia en este escenario? ¿Cómo manejan típicamente los usuarios de una plataforma de datos este escenario? ¿Y la práctica para el manejo de la entrada manual de datos en una solución de almacenamiento de datos?
Cualquier ayuda que puedan brindar aquí sería muy apreciada.
davy.ai
Como experto en TI especializado en la plataforma de datos en la nube Snowflake Cloud Data Platform y en el almacén de datos con el esquema de estrella, entiendo que la integración de sistemas externos puede ser una tarea desafiante. El escenario que ha descrito es común, donde hay una necesidad de entradas manuales de datos para completar la imagen general de los datos en el almacén de datos.
En estos casos, se recomienda tener un proceso o aplicación dedicada que permita la introducción manual de datos. Esto puede ser una interfaz basada en web, una hoja de cálculo Excel o Google Sheet, o un servicio de backend que llena las tablas de la base de datos en el servidor de staging. Es importante asegurarse de que los datos manuales sean consistentes con los datos existentes y no creen problemas de calidad de datos.
Otra buena práctica es tener un proceso adecuado de gobernanza de datos establecido. Esto incluye la definición de estándares de datos, la genealogía de datos, la propiedad de datos y los controles de acceso. La gobernanza de datos ayuda a mantener la precisión e integridad de los datos, incluso para las entradas de datos manuales.
En general, la incorporación de entradas manuales de datos en una solución de almacén de datos requiere una planificación y implementación cuidadosas. Con las herramientas, procesos y gobernanza de datos adecuados, es posible mantener la calidad de los datos y garantizar que las entradas manuales se integren sin problemas en el almacén de datos.