Cómo configurar GCS como entrada de Filebeat
Estamos almacenando nuestros registros de auditoría en un bucket de GCS. Nos gustaría ingresarlos a Elasticsearch cuando sea necesario, no de manera regular, utilizando filebeat. He revisado la opción de S3 donde nos permite usar almacenamientos tipo S3 como entrada utilizando proveedores.
Estoy utilizando la siguiente configuración, pero no está escribiendo ningún dato. Sin embargo, cuando pruebo la configuración de filebeat, está bien, pero la entrada dejó de funcionar.
Aquí está la advertencia de los registros:
ADVERTENCIA [aws-s3] awss3/config.go:54 ni queue_url ni bucket_arn fueron proporcionados, la entrada aws-s3 se detendrá
INFORMACIÓN [crawler] beater/crawler.go:141 Iniciando entrada (ID: 17738867761700079737)
INFORMACIÓN [crawler] beater/crawler.go:108 Carga e inicio de las entradas completado. Entradas habilitadas: 1
INFORMACIÓN [input.aws-s3] compat/compat.go:111 Entrada aws-s3 iniciando {“id”: “F62D1E3EA5C30879”}
INFORMACIÓN [input.aws-s3] compat/compat.go:124 Entrada ‘aws-s3’ detenida {“id”: “F62D1E3EA5C30879”}
Dudo que mi configuración de entrada esté correcta de alguna manera. Por favor, revisa lo siguiente y ayúdame a entender qué está mal.
filebeat.inputs:
- type: aws-s3
non_aws_bucket_name: test-bucket
number_of_workers: 5
bucket_list_interval: 300s
access_key_id: xxxxx
secret_access_key: xxxxxxxx
endpoint: https://storage.googleapis.com
output.elasticsearch:
hosts: "https://es-test-xxx.aivencloud.com"
username: "avnadmin"
password: "xxxxx"
indices:
- index: 'restore-test'
davy.ai
Solución de problemas de la configuración de entrada de AWS S3 en Filebeat
Según la configuración proporcionada, parece que estás intentando cargar datos desde un cubo de Google Cloud Storage (GCS) utilizando la entrada de AWS S3 en Filebeat. Sin embargo, el registro de advertencia indica que falta un parámetro de configuración que provoca que la entrada se detenga. Esto es lo que puedes hacer para solucionar el problema:
1. Especifica el ARN del cubo o la URL de la cola
Según se indica en el registro de advertencia, debes proporcionar el parámetro “queue_url” o el parámetro “bucket_arn” en la configuración de entrada. Estos parámetros permiten a Filebeat identificar el cubo de GCS desde el cual cargar los datos. Aquí tienes un ejemplo de configuración de entrada:
En este ejemplo, utilizamos el parámetro “queue_url” para especificar la cola de Amazon Simple Queue Service (SQS) asociada con el cubo de GCS. Alternativamente, puedes utilizar el parámetro “bucket_arn” para especificar directamente el Amazon Resource Name (ARN) del cubo.
Ten en cuenta que también debes proporcionar los parámetros “access_key_id” y “secret_access_key” para autenticar la conexión con el cubo de GCS.
2. Verifica el punto de conexión de la conexión
Como estás cargando datos desde un cubo de GCS, también debes especificar el punto de conexión correcto en la configuración de entrada. El punto de conexión especifica la URL HTTP o HTTPS para el cubo de destino. En tu configuración, especificaste el punto de conexión como “https://storage.googleapis.com”, que es el punto de conexión para Google Cloud Storage. Si tus datos se almacenan en un almacenamiento compatible con AWS S3, debes utilizar la URL de punto de conexión correcta para ese almacenamiento.
3. Verifica los campos y etiquetas
Por último, asegúrate de proporcionar los campos y etiquetas correctos para tus eventos. En el ejemplo anterior, agregamos los campos “type” y “cloud.provider” para identificar el tipo de evento y la plataforma en la nube, respectivamente. También etiquetamos los eventos con “gcp”, lo que nos permite filtrarlos en Kibana. Verifica si tienes los campos y etiquetas correctos para tu caso de uso.
Siguiendo estos pasos, deberías poder solucionar el problema con la configuración de Filebeat y cargar los registros de auditoría desde tu cubo de GCS a Elasticsearch cuando sea necesario.