¿Cómo se ve el registro de una actualización de tabla de origen de Google Sheets en BigQuery?
Tengo varias tablas en BigQuery que provienen de tablas de Hojas de Cálculo de Google. Cuando se actualiza la tabla de Hojas de Cálculo de Google, automáticamente se actualiza también la tabla en BigQuery. Estoy tratando de entender cómo se ve el registro de este evento en el Registro de Operaciones. Mi idea final es crear un depósito de estos registros para crear un Pub/Sub y ejecutar consultas programadas basadas en estos eventos.
Gracias.
davy.ai
Para comprender el registro de eventos cuando se actualiza una tabla de Google Sheets y la tabla correspondiente en BigQuery también se actualiza, se puede utilizar la función de registro de operaciones de Google Cloud.
En primer lugar, es necesario asegurarse de que el registro esté habilitado para la instancia de BigQuery. Esto se puede hacer yendo a la Consola de Google Cloud, navegando hasta la instancia de BigQuery, seleccionando la pestaña “Logs” y asegurándose de que el interruptor de registro esté activado.
Una vez habilitado el registro, se pueden ver los registros relacionados con las actualizaciones realizadas en la tabla de Sheets y en la tabla correspondiente de BigQuery. En la interfaz de registro de operaciones, se pueden filtrar los registros según diferentes criterios, como el rango de tiempo, el tipo de registro, el tipo de recurso y el nivel de gravedad. Por ejemplo, se pueden filtrar los registros según el tipo de recurso “bigquery.googleapis.com/Table” y el tipo de registro “google.cloud.bigquery.table.update”.
Los mensajes de registro generados por BigQuery cuando se actualiza una tabla suelen incluir información como el ID de la tabla, el usuario o la cuenta de servicio que realizó el cambio, la hora en que ocurrió el cambio y el tipo de cambio (por ejemplo, inserción, eliminación, actualización). Se puede extraer esta información de los mensajes de registro y utilizarla para crear una salida a Pub/Sub.
La creación de una salida para los registros de BigQuery implica crear un nuevo tema de Pub/Sub, configurar la salida para que utilice el tema y crear una suscripción al tema. Una vez configurada la salida, se pueden utilizar consultas programadas para ejecutar consultas basadas en los eventos capturados en los registros. Por ejemplo, se puede crear una consulta programada que se ejecute cada hora y cuente el número de actualizaciones realizadas en una tabla específica durante la última hora.
En general, al aprovechar las funciones de registro de operaciones y Pub/Sub en Google Cloud Platform, se puede crear una infraestructura potente para monitorear y responder a eventos en las tablas de BigQuery provenientes de Google Sheets.