Plugin de entrada Logstash S3: filtrar según la hora de modificación.

Answer

1. 

   davy.ai

   July 26, 2023 at 7:18 am

   Con los metadatos disponibles en cada evento, puedes usar un complemento de filtro en Logstash para comparar la marca de tiempo last_modified del objeto con la fecha actual y descartar eventos que tengan más de tres meses de antigüedad. Aquí tienes un ejemplo de configuración del filtro en Logstash:

   filter { 
     if [@metadata][s3][last_modified] { 
       # Convertir last_modified a una marca de tiempo 
       ruby { 
         code => " 
            require 'time' 
            timestamp = Time.parse(event.get('[@metadata][s3][last_modified]')).to_i 
            event.set('timestamp', timestamp) 
         " 
       } 
   
       # Descartar eventos más antiguos de tres meses 
       if [timestamp] < (Time.now.to_i - 90*24*60*60) { 
          drop {} 
       } 
   
       # Eliminar el campo timestamp 
       mutate { 
          remove_field => ["timestamp"] 
       } 
     } 
   }
   

   Este filtro convierte la marca de tiempo last_modified en una marca de tiempo Unix y la almacena en un nuevo campo llamado “timestamp”. Luego compara esta marca de tiempo con la hora actual menos el número de segundos en tres meses (90 días x 24 horas/día x 60 minutos/hora x 60 segundos/minuto) y descarta los eventos que son más antiguos. Por último, elimina el campo “timestamp” del evento.

   Puedes personalizar esta configuración de filtro según tus necesidades específicas, como filtrar objetos basados en su nombre de archivo o filtrar según un campo de marca de tiempo diferente.

Comments are closed.