¿La tasa de aprendizaje no está establecida en run_mlm.py?

Quiero ejecutar (o reanudar) el script run_mlm.py con una tasa de aprendizaje específica, pero parece que establecerla en los argumentos del script no hace nada.

os.system(
f”python {script} \
–model_type {model} \
–config_name ‘./models/{model}/config.json’ \
–train_file ‘./content/{data}/train.txt’ \
–validation_file ‘./content/{data}/test.txt’ \
–learning_rate 6e-4 \
–weight_decay 0.01 \
–warmup_steps 6000 \
–adam_beta1 0.9 \
–adam_beta2 0.98 \
–adam_epsilon 1e-6 \
–tokenizer_name ‘./tokenizer/{model}’ \
–output_dir ‘./{out_dir}’ \
–do_train \
–do_eval \
–num_train_epochs 40 \
–overwrite_output_dir {overwrite} \
–ignore_data_skip”
)

Después del calentamiento, el registro indica que la tasa de aprendizaje alcanza un máximo de 1e-05, un valor predeterminado de alguna parte, supongo, pero no estoy seguro de dónde (y ciertamente no 6e-4):

{‘perdida’: 3.9821, ‘tasa_de_aprendizaje’: 1e-05, ‘época’: 0.09}