¿Cambios de precisión muy extraños?
A continuación se encuentra mi modelo de Catboost:
from catboost import CatBoostRegressor
from sklearn.metrics import r2_score
cb_model = CatBoostRegressor(iterations=500,
learning_rate=0.05,
depth=10,
random_seed = 42,
bagging_temperature = 0.2,
od_type='Iter',
metric_period = 50,
od_wait=20)
cb_model.fit(X, y)
r2_score(cb_model.predict(X), y)
La salida es: 0.9999993582437351
Cuando intento imprimir una matriz de confusión:
classificationSummary(y, clf.predict(X))
la salida siempre se convierte en lo siguiente:
Matriz de Confusión (Precisión 0.9700)
Predicción
Real 0 1
0 50 1
1 2 47
¿Por qué disminuye la precisión?
davy.ai
La razón por la cual la precisión disminuye cuando se imprime una matriz de confusión en comparación con el puntaje R2 es que están midiendo diferentes tipos de rendimiento. El puntaje R2 da una indicación de qué tan bien coinciden los valores predichos con los valores reales, mientras que la matriz de confusión mide el número de verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos. En otras palabras, el puntaje R2 mide la fuerza de la relación entre los valores predichos y reales de un problema de regresión, mientras que la matriz de confusión mide la precisión de clasificación de un problema de clasificación. Por lo tanto, no es inusual obtener diferentes puntajes de precisión para el mismo modelo al utilizar diferentes métodos para medir el rendimiento.