Mejore el tiempo de predicción del modelo en modelos de transformadores Huggingface sin GPU.
Estoy utilizando los modelos de huggingface transformers para varias tareas y funciona bien, pero el único problema es el tiempo de respuesta. Tarda alrededor de 6-7 segundos en generar el resultado, mientras que a veces incluso tarda alrededor de 15-20 segundos. Lo intenté en Google Colab usando GPU, el rendimiento . . . Read more