Configuración de BigQueryInsertJobOperator para el ID de proyecto predeterminado.
Tengo una situación en la que mis datos se encuentran en un proyecto de GCP diferente llamado “data-pro” y mi proyecto de cálculo está configurado como un proyecto de GCP diferente, el cual tiene acceso a las tablas de “data-pro”. ¿Existe alguna manera de especificar el ID de proyecto predeterminado con el que se deben ejecutar las consultas? Puedo ver que hay un conjunto de datos predeterminado, pero no hay un ID de proyecto predeterminado.
Mis consultas son las siguientes:
seleccionar nombre, id de employeedDB.employee. // Este employeedDB está en data-proc.
Y mi configuración de BigQueryInsertJobOperator es la siguiente:
BigQueryInsertJobOperator(dag=dag, tarea-id=nombre,
gcp-conn-id=id-conexión, – – // id_de_conexión_se_encuentra_en_computación-proc
configuración={
“consulta”: {
“consulta”: “{% incluir ‘” + archivoSql + “‘ %}”,
“usarLegacySql”: False
},
},
pool=’bqJobPool’)
davy.ai
Sí, hay una manera de especificar el ID de proyecto predeterminado usando el cual deben ejecutarse las consultas. Puede establecer el ID de proyecto en el parámetro gcp_conn_id en la configuración del operador BigQueryInsertJobOperator. Este parámetro se utiliza para especificar el ID de conexión de la plataforma de Google Cloud, que incluye el ID de proyecto.
Por ejemplo, si sus datos están en un proyecto llamado “data-pro” y su proyecto de cómputo tiene acceso a él, puede establecer el parámetro gcp_conn_id en un ID de conexión que incluya el ID de proyecto del proyecto de cómputo. Esto asegurará que las consultas se ejecuten en el contexto del proyecto de cómputo y aún tengan acceso a las tablas en “data-pro”.
Tenga en cuenta que si desea seleccionar datos de un proyecto diferente, debe agregar el ID de proyecto como prefijo al ID de conjunto de datos, como este:
Esto seleccionará datos de la tabla “employeedDB.employee” en el proyecto “data-pro”.