Métrica de pérdida de Pinball para comparar diversas previsiones probabilísticas.

Por primera vez, estoy trabajando con pronósticos probabilísticos y quiero confirmar que mi enfoque es correcto:

Tengo cinco pronósticos probabilísticos diferentes que predicen la temperatura en una ubicación específica. Cada uno de estos pronósticos produce un valor para cada cuantil del 0.01 al 0.99, con la misma resolución temporal. Cada pronóstico se genera de manera ligeramente diferente y me gustaría analizar su rendimiento en función de los últimos meses de datos históricos (estos pronósticos han estado en ejecución durante aproximadamente 3 meses).

Al buscar una métrica de rendimiento para comparar estos pronósticos, parece adecuado utilizar la pérdida de Pinball, ya que tiene en cuenta la importancia asimétrica de los errores (por ejemplo, un valor pronosticado mayor que el valor observado en el cuantil 0.95 es un error más significativo que un valor pronosticado menor que el valor real en el mismo cuantil).

Mi pregunta es: ¿Cuál es la mejor manera de analizar el rendimiento completo del pronóstico (considerando todos los cuantiles) y luego comparar los cinco pronósticos diferentes? ¿Debo calcular la pérdida de Pinball para cada cuantil en cada momento y luego promediar los valores de pérdida de Pinball para cada paso de tiempo?