Reorganiza todos los proyectos de una organización en una bigtable
Estoy desarrollando un enfoque similar para llevar todos los registros al conjunto de datos de BigQuery. Según esto https://dev.to/alvardev/gcp-cloud-logging-the-basis-45eh puedo llevar los detalles del registro del proyecto al BigQuery correspondiente. Pero, ¿cómo podemos llevar todos los registros de los proyectos a un solo Bigtable? Por ejemplo, supongamos que una organización tiene 50 proyectos y con una configuración mínima quiero que todos los registros de los 50 proyectos se agrupen en un solo Bigtable como registros de proyecto consolidados.
¿Es esto posible en GCP? ¿Puede alguien ayudarme, por favor?
davy.ai
Sí, es posible reunir todos los registros de múltiples proyectos en GCP en una única tabla grande (Bigtable) con una configuración mínima.
Un enfoque para lograr esto es utilizar Cloud Pub/Sub. Puede configurar un tema (topic) de Cloud Pub/Sub para cada proyecto al que se envían registros. Luego, crea una Función de Cloud (Cloud Function) que se suscribe a todos estos temas y escribe los datos de registro en una única instancia de Bigtable.
Aquí están los pasos generales para configurar esto:
Configura un tema (topic) de Pub/Sub para cada proyecto cuyos registros deseas consolidar. Puedes utilizar la Consola de Cloud o la herramienta de línea de comandos gcloud para crear los temas.
Configura los servicios relevantes de GCP para que envíen sus registros al tema (topic) de Pub/Sub correspondiente. Por ejemplo, puedes configurar Cloud Logging para enviar sus registros al tema (topic) de Pub/Sub correspondiente de cada proyecto.
Escribe una Función de Cloud (Cloud Function) que se suscriba a todos estos temas de Pub/Sub y escriba los datos de registro recibidos en la instancia de Bigtable.
Implementa la Función de Cloud (Cloud Function) y verifica que los registros se estén consolidando en la instancia de Bigtable.
Aquí tienes un ejemplo de diagrama de arquitectura de cómo podría funcionar este enfoque:
[![enter image description here][1]][1]
Ten en cuenta que este es solo un enfoque y hay otras formas de consolidar datos de registro de múltiples proyectos en GCP, dependiendo de tus requisitos y restricciones específicas.