Modelos de aprendizaje automático con las mismas métricas de precisión pero diferentes visualizaciones de la predicción vs. prueba.
Estoy comparando un bosque aleatorio (RF) con una red neuronal feed-forward (NN) para predecir la riqueza de especies. En ambos modelos, utilicé los mismos (60) predictores. El problema es que los coeficientes de determinación (r2) y los errores cuadrados medios son muy similares, pero cuando grafico las predicciones vs las pruebas, la NN parece mucho mejor. ¿Es así? ¿O es solo una cuestión de percepción?
Estos son los resultados para la NN:
RMSE: 7 ±0.5
RMSE relativo: 0.26 ±0.04
r2: 0.36 ±0.1
Y para el RF:
RMSE: 7 ±1.1
RMSE relativo: 0.25 ±0.06
r2: 0.36 ±0.1
Los resultados son un promedio de las 5 iteraciones y las gráficas muestran todas las predicciones acumuladas de las 5 iteraciones frente a los valores reales. Ambos modelos fueron creados en Python (keras para NN y sklearn para RF).
En resumen, si confío en los números, ambos modelos tienen el mismo rendimiento, pero la NN se ajusta mejor visualmente. ¿Hay alguna otra métrica de validación que pueda indicar cuál modelo tiene un mejor rendimiento?
davy.ai
Según la información proporcionada, es posible que el modelo de NN sea visualmente mejor en la predicción de la riqueza de especies en comparación con el modelo de RF, a pesar de tener valores similares de r2 y RMSE. Sin embargo, es importante tener en cuenta que la inspección visual por sí sola no siempre es suficiente para determinar el rendimiento del modelo.
Otros indicadores de validación a considerar al comparar modelos incluyen AIC, BIC y los valores de probabilidad o desviación validada cruzada. Además, puede valer la pena examinar las importancias de características o coeficientes de ambos modelos para comprender qué predictores contribuyen más a las predicciones. En general, una combinación de diferentes indicadores de validación e interpretación del modelo puede ayudar a proporcionar una comprensión más completa de cuál modelo tiene un mejor rendimiento.