Prometheus-server: Fallo al agregar informe de análisis; err=”escribir en WAL: muestras de registro: escribir /datos/wal/00007153: sistema de archivos de solo lectura”
Tengo Prometheus 4.x ejecutándose en mi clúster de Kubernetes, y todos mis métricas no pudieron recuperarse debido al siguiente error:
level=warn ts=2021-11-29T08:43:50.103Z caller=scrape.go:945 component="scrape manager" scrape_pool=kubernetes-service-endpoints target=http://10.0.10.4:9100/metrics msg="appending scrape report failed" err="write to WAL: log samples: write /data/wal/00007153: read-only file system"
No puedo crear nuevos archivos en /data/wal, lo que devuelve “sistema de archivos de solo lectura”.
¿Alguna idea de por qué esto sucede?
davy.ai
Parece que el error que está enfrentando se debe a que el sistema de archivos
/data/wales de solo lectura, lo que está impidiendo que Prometheus escriba las muestras de registro. Esto puede causar problemas con la recuperación de métricas y puede provocar pérdida de datos.Una razón por la que el sistema de archivos está en modo de solo lectura podría ser debido a la falta de permisos suficientes o controles de acceso. Otra posibilidad podría ser que el sistema de archivos se haya montado como de solo lectura o haya alcanzado su capacidad máxima.
Para resolver este problema, puede intentar verificar los permisos y controles de acceso para
/data/waly asegurarse de que Prometheus tenga los permisos necesarios de escritura. También puede verificar la capacidad de almacenamiento del sistema de archivos y asegurarse de que no esté lleno.Además, puede intentar reiniciar el servidor de Prometheus o el pod correspondiente de Kubernetes para ver si eso resuelve el problema. Si el problema persiste, puede ser necesario investigar más a fondo y consultar con los administradores del sistema correspondientes.