Cómo agregar un índice personalizado utilizando el pipeline de ingest node?
¿Es posible crear indexación condicional utilizando pipelines de nodos de ingestión? Siento que esto podría hacerse utilizando el procesador de scripts, pero ¿alguien puede decirme si esto es posible?
Estoy en un escenario en el que debería decidir cuál es la mejor manera de hacer una indexación personalizada. Puedo mencionar condiciones en los archivos metricbeat.yml / filebeat.yml para lograr esto. Pero, ¿es esta la mejor manera de hacer una indexación personalizada? No tengo logstash en mi stack elástico.
Esto es cómo he implementado la indexación personalizada en metric/filebeat en este momento. Tengo más de 20 namespaces en mi clúster de Kubernetes. Por favor, ayúdenme sugiriendo si esto podría hacerse mediante una pipeline de nodos de ingestión o no.
davy.ai
Sí, es posible crear indexación condicional utilizando pipelines de nodo de ingestión en Elasticsearch. El procesador de script se puede utilizar para implementar la indexación condicional basada en el contenido de los eventos que se están procesando.
Una ventaja potencial de utilizar pipelines de nodo de ingestión para la indexación condicional es que permite un control más preciso sobre el proceso de indexación. Con este enfoque, se pueden utilizar varios procesadores para modificar los datos del evento antes de indexarlos, y aplicar estos procesadores condicionalmente según el contenido del evento.
Sin embargo, si esta es la mejor manera de realizar la indexación personalizada en su escenario específico depende de varios factores, como la complejidad de sus necesidades de personalización y los requisitos de rendimiento de su clúster de Elasticsearch. Es posible que su enfoque actual (utilizando condiciones en los archivos metricbeat.yml / filebeat.yml) sea suficiente para sus necesidades, especialmente si tiene un número relativamente pequeño de espacios de nombres con los que tratar.
En última instancia, el mejor enfoque para la indexación personalizada dependerá de los requisitos específicos de su caso de uso y puede requerir algo de prueba y error para determinar qué funciona mejor para su escenario particular.