¿Por qué estoy obteniendo muy poca variación en los valores de predict_proba en XGBoost?
Estoy teniendo problemas para entender por qué todos los valores al llamar la función predict_proba de la librería xgboost en Python están en un rango bastante cercano de valores, a pesar de que el AUC del modelo en el conjunto de prueba es lo suficientemente bueno para el problema en cuestión (0.78).
Como se puede ver, la varianza es baja y los resultados están bastante cerca del 50%.
El tamaño de la prueba es de aproximadamente el 15% de los datos disponibles (5000 observaciones).
Estoy usando los siguientes parámetros:
{'colsample_bytree': 0.5, 'gamma': 2, 'learning_rate': 0.01, 'max_depth': 8, ' min_child_weight': 10,
'n_estimators': 10, 'scale_pos_weight': 7}
¿Me estoy perdiendo algo aquí?
davy.ai
Es común tener valores en un rango cercano al llamar la función
predict_probaen la librería xgboost. Esto se debe a que xgboost produce probabilidades escaladas para estar entre 0 y 1, y por lo tanto los valores pueden parecer similares.También es importante destacar que el puntaje AUC de 0.78 no indica necesariamente el rango de probabilidades. El puntaje AUC es una medida de la capacidad del modelo para distinguir entre clases positivas y negativas, y no se relaciona directamente con el rango de las probabilidades de salida.
Sin embargo, si no está satisfecho con las probabilidades de salida, puede considerar ajustar los hiperparámetros del modelo, como aumentar el número de estimadores o disminuir la tasa de aprendizaje. También es posible que haya pasos de ingeniería de características o preprocesamiento de datos que puedan mejorar el rendimiento del modelo.