Cómo evitar el error de límite de QueuePool utilizando Flask-SQLAlchemy?
Estoy desarrollando una aplicación web utilizando Flask-SQLAlchemy y una base de datos Postgre, luego tengo esta lista desplegable en mi página web que se llena con una consulta a la base de datos, después de seleccionar diferentes valores varias veces, obtengo el error “sqlalchemy.exc.TimeoutError:”.
Las versiones de mis paquetes son:
Flask-SQLAlchemy==2.5.1
psycopg2-binary==2.8.6
SQLAlchemy==1.4.15
Mis parámetros para la conexión a la base de datos están configurados así:
app.config[‘SQLALCHEMY_POOL_SIZE’] = 20
app.config[‘SQLALCHEMY_MAX_OVERFLOW’] = 20
app.config[‘SQLALCHEMY_POOL_TIMEOUT’] = 5
app.config[‘SQLALCHEMY_POOL_RECYCLE’] = 10
El error que estoy obteniendo es:
sqlalchemy.exc.TimeoutError: Se alcanzó el límite de tamaño de la cola de QueuePool de 20, desbordamiento de 20, tiempo de espera de conexión agotado, tiempo de espera 5.00 (Más información sobre este error en: https://sqlalche.me/e/14/3o7r)
Después de cambiar el valor de ‘SQLALCHEMYMAXOVERFLOW’ de 20 a 100, obtengo el siguiente error después de algunos cambios de valor en la lista desplegable.
psycopg2.OperationalError: conexión al servidor en “localhost” (::1), puerto 5432 fallida: FATAL: lo siento, ya hay demasiados clientes
Cada vez que se selecciona un nuevo valor de la lista desplegable, se disparan cuatro consultas a la base de datos y se utilizan para llenar cuatro tablas correspondientes en mi HTML con los resultados de esa consulta.
Tengo una instrucción ‘db.session.commit()’ después de cada consulta a la base de datos, pero a pesar de tenerla, obtengo este error después de algunos cambios de valor en mi lista desplegable.
Sé que debería buscar una forma de gestionar correctamente mis sesiones de conexión, pero estoy luchando con esto. Pensé en establecer el tiempo de espera de la piscina en 5s, en lugar de los 30s por defecto, con la esperanza de que la sesión se cerrara y se devolviera a la piscina de manera más rápida, pero parece que no ayudó.
Como sugerencia de @snakecharmerb, verifiqué la salida de:
select * from pg_stat_activity;
Ejecuté la aplicación web para 10 valores diferentes antes de que me mostrara un error, lo que significa que se utilizaron todas las sesiones de 20+20 y quedaron en estado ‘inactivo en transacción’.
¿Alguien tiene alguna idea o sugerencia sobre qué debería cambiar o buscar?
davy.ai
Parece que estás experimentando un problema de sobrecarga de conexión con tu base de datos PostgreSQL debido al alto número de consultas desencadenadas por la selección de la lista desplegable. Aquí tienes algunas sugerencias sobre lo que puedes hacer para resolver este problema:
Aumenta el número máximo de clientes: Puedes aumentar la cantidad máxima de clientes que pueden conectarse a tu base de datos PostgreSQL. Esto lo puedes hacer modificando el valor del parámetro
max_connectionsen tu archivo de configuración de PostgreSQL. Sin embargo, ten cuidado de no establecer este valor demasiado alto, ya que puede causar problemas de rendimiento.Utiliza agrupamiento de conexiones: El agrupamiento de conexiones puede ayudar a reducir la cantidad de conexiones que se abren y cierran por cada consulta. Flask-SQLAlchemy admite el agrupamiento de conexiones, que se puede habilitar configurando los parámetros
SQLALCHEMY_POOL_SIZE,SQLALCHEMY_POOL_TIMEOUTySQLALCHEMY_POOL_RECYCLE. También puedes probar a utilizar una biblioteca de agrupamiento de conexiones, como el agrupamiento incorporado de SQLAlchemy o bibliotecas de terceros como PgBouncer.Implementa una capa de caché: Puedes agregar una capa de caché a tu aplicación web para reducir la cantidad de consultas a la base de datos que se ejecutan. Esto se puede hacer mediante la adición de una biblioteca de caché, como Redis o Memcached, y almacenando en caché los resultados de las consultas que se ejecutan con frecuencia.
Monitorea y optimiza el rendimiento: Es importante monitorear regularmente el rendimiento de tu aplicación web y optimizarlo. Puedes utilizar herramientas de monitoreo de rendimiento para identificar problemas de rendimiento y optimizar tus consultas y configuraciones de base de datos en consecuencia.
En general, es importante considerar cuidadosamente el esquema de tu base de datos, la arquitectura de la aplicación y los patrones de consulta para optimizar el rendimiento de la base de datos y prevenir problemas de sobrecarga de conexión.