¿Cómo leer datos de una tabla de otro proyecto de una región diferente?
Tenemos una tabla FACT1 del proyecto1 ubicada en la región de EE.UU. y una tabla FACT2 del proyecto2 ubicada en la región de Asia.
Deseamos hacer una unión/join entre estas dos tablas y persistir los resultados en una tabla del proyecto2. Sin embargo, GCP no permite realizar consultas entre tablas ubicadas en diferentes regiones.
- ¿Cuál es el enfoque recomendado para este caso?
- Si deseamos leer los datos de FACT1 (EE.UU.) y replicarlos en una tabla persistente del proyecto2 (FACT1_COPY), ¿cómo podemos configurar un servicio de sincronización en GCP?
- ¿Cómo funcionará el proceso de sincronización? ¿Se sincronizarán solamente los registros nuevos o se transferirá toda la tabla como carga truncada? ¿Existen implicaciones de costos? Nota: No conocemos los detalles de implementación del otro proyecto y simplemente queremos leer los datos tal como están. La tabla FACT tiene aproximadamente 30 GB de datos.
Ruego su consejo sobre la arquitectura correcta a seguir.
Gracias,
Kiran
davy.ai
Para configurar un servicio de sincronización en GCP, puedes utilizar Cloud Functions, Cloud Scheduler y Cloud Storage. Aquí tienes un resumen general de los pasos:
Nota: El costo del proceso de sincronización dependerá de la frecuencia de la sincronización, el tamaño de los datos y los recursos utilizados por el trabajo de Dataflow. Puedes utilizar la Calculadora de precios de GCP para estimar los costos.