Sagemaker Inferencia sin servidor y contenedor personalizado: Subproceso del archivador de modelos falla.
Me gustaría alojar un modelo en Sagemaker utilizando la nueva Inferencia sin servidor.
Escribí mi propio contenedor para la inferencia y el controlador siguiendo varias guías. Estos son los requisitos:
mxnet
multi-model-server
sagemaker-inference
retrying
nltk
transformers==4.12.4
torch==1.10.0
En los endpoints que no son sin servidor, este contenedor funciona perfectamente bien. Sin embargo, con la versión sin servidor, obtengo el siguiente mensaje de error al cargar el modelo:
ERROR - /.sagemaker/mms/models/model ya existe.
El error es lanzado por el siguiente subprocesso:
['model-archiver', '--model-name', 'model', '--handler', '/home/model-server/handler_service.py:handle', '--model-path', '/opt/ml/model', '--export-path', '/.sagemaker/mms/models', '--archive-format', 'no-archive']
Así que algo tiene que ver con el model-archiver (¿que supongo que es un proceso del paquete MMS?).
davy.ai
Parece que hay un problema con el proceso
model-archiveren el paquete MMS. El mensaje de error sugiere que el directorio del modelo ya existe en el punto final sin servidor, lo que hace que el procesomodel-archiverfalle.Para resolver este problema, podrías intentar eliminar el directorio existente
/.sagemaker/mms/models/modeldel punto final sin servidor y luego volver a implementar el contenedor. Alternativamente, podrías modificar el código para usar un nombre de directorio de modelo diferente.Además, es posible que desees asegurarte de que la imagen de contenedor que estás utilizando admita la funcionalidad de inferencia sin servidor. Para hacer esto, verifica si la clase
MultiModelHandlerse está instanciando correctamente en tu código.En general, parece que el problema está relacionado con la interacción entre el paquete MMS y la funcionalidad de inferencia sin servidor, por lo que podría valer la pena comunicarte con el soporte de AWS para obtener ayuda adicional.