Tag: CHOETL
Quiero recuperar la fecha más reciente de una tabla de SQL Server. En una “Tarea de ejecución SQL” tengo la siguiente instrucción SQL: SELECT ? = MAX(MYDATE) –El tipo de datos SQL de esta columna es datetime FROM TBLLOG WHERE COMPLETED = 1 En la sección de asignación de parámetros, . . . Read more
Tengo una carpeta en la cual se generan logs todos los días. Quiero crear un paquete SSIS que se ejecute diariamente y elimine los archivos más antiguos de 90 días (basado en la fecha de creación). He encontrado una solución utilizando la tarea de secuencia de comandos (C#) y quería . . . Read more
Tengo un diccionario como este: sample_dict = { “A”: [“aaaa\.com”, “aaaa\.es”], “B”: [“bbbb\.com”, “bbbb\.es”, “bbbb\.net”], “C”: [“ccccc\.com”], # muchas más entradas aquí } Me gustaría agregar una columna en un DataFrame de Spark que realice la siguiente operación: ( df .withColumn( “new_col”, F.when( (F.col(“filter_col”).rlike(“aaaa\.com”)) | (F.col(“filter_col”).rlike(“aaaa\.es”)), F.lit(“A”) ) .when( (F.col(“filter_col”).rlike(“bbbb\.com”)) . . . Read more
Ya tengo un flujo de trabajo funcional en Data Fusion que realiza todo el proceso de ETL, pero necesito que solo se ejecute cuando encuentre un archivo llamado SUCCESS.txt ubicado en un bucket de almacenamiento en la nube. ¿Esto es posible? En otras plataformas solía utilizar un observador de archivos . . . Read more
Tengo datos de series temporales con una precisión de hasta milisegundos. Algunas de estas marcas de tiempo pueden coincidir en el tiempo exacto, por lo que se pueden ordenar por una columna de identificación de base de datos para determinar cuál es la más reciente. Estoy intentando utilizar Timescale para . . . Read more