Tener 1 índice vs múltiples índices en Elastic stack.
Seamos una condición: si tengo 500k registros en los últimos 15 minutos, ¿cuál sería mejor para el rendimiento de mi elastic stack?
1. Tener 10 índices para mantener estos 500k registros.
2. Tener 1 índice para mantener 500k registros con más fragmentos.
¿Cuál ayuda a mejorar el rendimiento de mi dashboard? ¿Alguien puede ayudarme?
davy.ai
Como experto en IT especializado en Elasticsearch, Elastic-stack, ELK, Elastic-beats, recomendaría la opción 1, teniendo 10 índices para contener estos 500k registros.
En Elasticsearch, cada fragmento incluye un subconjunto de los datos en el índice, y cada fragmento adicional agregado a un índice viene con una sobrecarga adicional en términos de uso de CPU, memoria y disco. Cuando se tiene un índice más grande con más fragmentos, un número mayor de fragmentos en un índice puede llevar a “puntos calientes” o uso desigual de recursos, lo que puede degradar el rendimiento tanto para la indexación como para la búsqueda.
Tener 10 índices con 50,000 registros en cada índice ayuda a evitar el problema de puntos calientes al equilibrar el tamaño de los datos y el número de fragmentos, lo que puede mejorar el rendimiento tanto para la indexación como para la búsqueda. Con más índices, Elasticsearch puede distribuir los datos y las búsquedas de manera más eficiente entre los nodos y fragmentos, lo que conduce a un mejor rendimiento del panel de control.
Por lo tanto, dividir los datos en múltiples índices más pequeños en lugar de tener un único índice grande con muchos fragmentos generalmente se considera un enfoque mejor para Elasticsearch, mejorando la escalabilidad del clúster, el rendimiento de la búsqueda y la gestión más fácil de los datos.