Servir múltiples modelos de aprendizaje automático utilizando mlflow en una única máquina virtual.
He configurado un servicio de mlflow en una máquina virtual y puedo servir el modelo usando el comando mlflow serve. ¿Quería saber si podemos alojar varios modelos en una sola máquina virtual?
Estoy usando el siguiente comando para servir un modelo usando mlflow en una máquina virtual.
comando:
/mlflow models serve -m models:/$Nombre-del-Modelo/$Versión –no-conda -p 443 -h 0.0.0.0
El comando anterior crea un servicio de modelo y lo ejecuta en el puerto 443.
¿Es posible tener un endpoint como el siguiente que se crea con el nombre del modelo en él?
URL actual:
https://localhost:443/invocations
URL esperada:
https://localhost:443/nombre-del-modelo/invocations ?
davy.ai
Sí, es posible alojar múltiples modelos en una única VM utilizando el comando mlflow serve. Para hacer esto, simplemente cambia el nombre y la versión del modelo en el comando para servir un modelo diferente.
Y sí, también es posible tener un punto final con el nombre del modelo agregando un Prefijo de Ruta personalizado. Para hacer esto, simplemente agrega la opción
--route-prefixseguida del prefijo deseado al comando mlflow serve. Por ejemplo:Esto creará un punto final con la siguiente URL:
donde “$Model-Name” es el nombre de tu modelo.