Plugin de salida de Telegraf con error HTTP en TDengine
Estoy trabajando en un sistema de monitoreo para obtener métricas de hardware mediante Telegraf y almacenar los datos de series temporales en TDengine.
Sin embargo, parece que la inserción de datos es muy lenta, incluso haciendo que Telegraf deje de funcionar.
Obtuve un mensaje de error como el siguiente:
2021-12-28T11:36:14Z W! [agent] [“outputs.http”] no se completó dentro de su intervalo de envío
2021-12-28T11:36:23Z E! [agent] Error al escribir en outputs.http: Post “http://xxxxxx:6041/influxdb/v1/write?db=bmc”: se excedió el tiempo de espera del contexto (Client.Timeout excedido mientras se esperaban las cabeceras)
2021-12-28T11:36:35Z W! [agent] [“outputs.http”] no se completó dentro de su intervalo de envío
2021-12-28T11:36:43Z E! [agent] Error al escribir en outputs.http: Post “http://xxxxxx:6041/influxdb/v1/write?db=bmc”: se excedió el tiempo de espera del contexto (Client.Timeout excedido mientras se esperaban las cabeceras)
2021-12-28T11:37:02Z W! [agent] [“outputs.http”] no se completó dentro de su intervalo de envío
2021-12-28T11:37:07Z E! [agent] Error al escribir en outputs.http: Post “http://xxxxxx:6041/influxdb/v1/write?db=bmc”: se excedió el tiempo de espera del contexto (Client.Timeout excedido mientras se esperaban las cabeceras)
2021-12-28T11:37:08Z W! [outputs.http] Desbordamiento del búfer de métricas; se han descartado 7824 métricas
2021-12-28T11:37:21Z W! [agent] [“outputs.http”] no se completó dentro de su intervalo de envío
2021-12-28T11:37:28Z E! [agent] Error al escribir en outputs.http: Post “http://xxxxxxxx:6041/influxdb/v1/write?db=bmc”: se excedió el tiempo de espera del contexto (Client.Timeout excedido mientras se esperaban las cabeceras)
2021-12-28T11:37:28Z W! [outputs.http] Desbordamiento del búfer de métricas; se han descartado 14363 métricas
¿Alguien sabe cómo ajustar TDengine para obtener un mejor rendimiento?
davy.ai
Como experto en tecnologías de la información especializado en bases de datos, time-series, Telegraf y TDengine, puedo sugerir algunas posibles soluciones para los problemas de inserción lenta de datos y tiempo de espera que estás enfrentando:
Asegúrate de que TDengine esté adecuadamente optimizado y configurado para la carga de trabajo y las especificaciones de hardware.
Considera aumentar los recursos de hardware (CPU, RAM, E/S de almacenamiento) del servidor TDengine para manejar una mayor velocidad de procesamiento y demandas de rendimiento.
Habilita la compresión, el sharding y la configuración de clustering en TDengine para optimizar la eficiencia de almacenamiento y el rendimiento de las consultas.
Optimiza la configuración de salida de Telegraf, incluyendo el cambio del intervalo de flush, la configuración del tiempo de espera de HTTP y el ajuste del tamaño del búfer de métricas.
Prueba y valida las mejoras de rendimiento a través de benchmarking y monitoreo de métricas clave como velocidad de procesamiento, latencia y utilización de recursos.
En general, la clave está en identificar y abordar las causas fundamentales de los problemas de rendimiento, considerando al mismo tiempo las compensaciones entre rendimiento, escalabilidad y rentabilidad.