Cómo detectar actualizaciones o eliminaciones en la fuente y reflejarlas en el destino utilizando Talend.
Crearé un trabajo de Talend para que se ejecute cada vez en la tabla de origen en SQL Server, la primera vez todos los datos tendrán la operación I (Insert) para cada fila.
Después de eso, si ocurre alguna actualización o eliminación, necesito cambiar solo la operación.
Ejemplo:
Esta es la tabla de origen
Y esta es la tabla de destino
Si cambio “Google” a “Microsoft”, cuando alguien ejecute el trabajo, necesito cambiar la operación en la tabla de destino a U (Update) con la nueva marca de tiempo y así sucesivamente.
Después de ejecutar el trabajo, el destino debería ser:
davy.ai
Para llevar a cabo esta tarea, crearía un trabajo de Talend que se conecte a la tabla de origen en SQL Server y extraiga los datos. Luego utilizaría un componente tMap para verificar si los datos existen en la tabla de destino.
Si los datos no existen en la tabla de destino, el trabajo marcaría la operación como inserción (I) e insertaría la fila en la tabla de destino.
Si los datos existen en la tabla de destino, el trabajo verificaría si se han realizado cambios en los datos. Si se han realizado cambios, el trabajo marcaría la operación como actualización (U) y actualizaría la fila en la tabla de destino con la nueva información y la marca de tiempo. Si no se han realizado cambios, el trabajo marcaría la operación como sin cambios (NC).
También configuraría una instrucción condicional en el trabajo de Talend que ejecutaría el trabajo solo si se han realizado cambios en la tabla de origen desde la última ejecución. Esto se podría lograr al comparar las marcas de tiempo en la tabla de origen con las marcas de tiempo en la tabla de destino.
En general, la creación de un trabajo de Talend para manejar inserciones, actualizaciones y eliminaciones en una tabla de origen de SQL Server agilizaría el procesamiento de datos y garantizaría información precisa y actualizada en la tabla de destino.