Tag: CHOETL
Tengo algunos DAGs que utilizan SnowflakeOperator y SnowflakeHook. Ambos hacen conexiones a Snowflake utilizando la entrada snowflake_connection, que he guardado en Admin > Connections en Airflow. SnowflakeHook( snowflake_conn_id="snowflake_connection", database='SOME_DB', schema='PUBLIC' ) Si bien este arreglo funciona dentro del entorno de Airflow, quiero ejecutar el código como un script regular en . . . Read more
Estoy creando un paquete SSIS. Utiliza una fuente OLE DB para extraer datos. Cuando ejecuto la consulta, funciona bien. Sin embargo, cuando intento insertar un parámetro en la consulta, no devuelve ninguna fila. Mi consulta funciona bien en SSMS sin el parámetro. Mi consulta es la siguiente: SELECT * FROM . . . Read more
Tengo dos servidores remotos de PostgreSQL en instancias controladas sin un sistema operativo local al que pueda acceder. Quiero copiar una tabla de uno al otro. Tengo DBeaver en una laptop que me permite establecer conexiones con ambos servidores. Cuando inicio un trabajo de transferencia entre ellos, puedo ver a . . . Read more
Vamos a pasar de SQL Server a Snowflake como base de datos objetivo para el almacén. Hoy en día, la mayoría de nuestro desarrollo de extracción, transformación y carga (ETL) se realiza en ODI (Oracle Data Integrator). Por lo tanto, estoy interesado en saber si alguien está utilizando ODI junto . . . Read more
Nuestro plan es implementar un pipeline para mover datos incrementalmente desde Postgres RDS a Snowflake. Esto es lo que tenemos en mente actualmente. Propuesta actual: RDS -> DMS (Servicio de Migración de Datos) -> S3 (Registros de Cambios) -> Spark -> Tablas Delta -> Transformaciones -> Snowflake Desventaja de la . . . Read more