¿Cuál es la diferencia entre los parámetros presupuestados y no presupuestados para el algoritmo Hyperband?
Me resulta difícil entender cómo se debe configurar el algoritmo Hyperband. En el libro (https://mlr3book.mlr-org.com/optimization.html#hyperband), encuentro, por ejemplo, el siguiente código de muestra:
set.seed(123)
<h1>extender "classif.rpart" con "subsampling" como paso de preprocesamiento</h1>
ll = po("subsample") %>>% lrn("classif.rpart")
<h1>extender los hiperparámetros de "classif.rpart" con la fracción de subsampling como presupuesto</h1>
search_space = ps(
classif.rpart.cp = pdbl(lower = 0.001, upper = 0.1),
classif.rpart.minsplit = pint(lower = 1, upper = 10),
subsample.frac = pdbl(lower = 0.1, upper = 1, tags = "budget")
)
La forma en que entiendo el algoritmo a partir del respectivo artículo (https://jmlr.org/papers/volume18/16-558/16-558.pdf) es que:
1) descarta algunas de las configuraciones de hiperparámetros (muestreadas del search_space) temprano y esto hace que la búsqueda sea mucho más eficiente que una búsqueda aleatoria pura, y
2) esto se aplica a todo el espacio de parámetros.
Puede que esté entendiendo mal esto, ya que hay algunos hiperparámetros “con presupuesto” (aquí: subsample.frac) y otros que no lo tienen (aquí: classif.rpart.cp y classif.rpart.minsplit). Entonces, ¿qué sucede con los hiperparámetros que no tienen la etiqueta “presupuesto”? ¿No se consideran? ¿O se aplica una “búsqueda aleatoria estándar” para ellos (por lo que pueden consumir tantos recursos como necesiten)?
davy.ai
Basado en el fragmento de código proporcionado, parece que solo el hiperparámetro
subsample.fracha sido etiquetado como “budget” en la definición desearch_space. Esto implica que el algoritmo Hyperband tratará este hiperparámetro de manera diferente a los demás durante el proceso de optimización. Específicamente, asignará más recursos (es decir, presupuesto de evaluación) a este hiperparámetro en comparación con los demás. Los otros hiperparámetros (classif.rpart.cpyclassif.rpart.minsplit) no tienen la etiqueta “budget” y, por lo tanto, no recibirán un trato preferencial en cuanto a la asignación de recursos.En general, el algoritmo Hyperband no requiere que todos los hiperparámetros estén en un presupuesto. Los hiperparámetros con la etiqueta “budget” reciben más recursos durante el proceso de optimización, pero el algoritmo todavía puede evaluar otros hiperparámetros también. Sin embargo, elegir qué hiperparámetros poner en un presupuesto (es decir, asignar más recursos) puede ser una decisión importante, ya que puede afectar en gran medida la eficiencia de la exploración del espacio de búsqueda.