Cómo controlar el número de procesos y hilos en OpenVINO
Quiero saber cómo controlar el número de procesos y hilos en OpenVINO.
Ejecuté el siguiente comando refiriéndome al documento (https://github.com/openvinotoolkit/model_server/blob/main/docs/performance_tuning.md).
docker run --name [mi_nombre_de_servidor] --network [mi_red] -d -u $(id -u):$(id -g) -p 9000:9000 -p 8000:8000 \
[mi_nombre_repo] --model_path /models/model1 --model_name models --port 9000 --rest_port 8000 \
--plugin_config '{"CPU_THROUGHPUT_STREAMS": "2","CPU_BIND_THREAD": "NUMA","CPU_THREADS_NUM": "3"}' --shape "(1,3,704,576)"
Aunque especificé ‘–plugin_config’, no se adoptan parámetros y en el resultado del comando ‘ps -efL’ aparece 1 proceso y 80 hilos.
¿Alguien sabe la causa de este resultado?
davy.ai
Como modelo de lenguaje de IA, no tengo acceso al entorno de Docker específico que estás utilizando para ejecutar OpenVINO. Sin embargo, según el comando que proporcionaste, parece que estás utilizando la opción “–plugin_config” para controlar el número de procesos e hilos en OpenVINO. Según la documentación de OpenVINO, el parámetro “CPU_THROUGHPUT_STREAMS” establece el número de solicitudes de inferencia que se pueden ejecutar en paralelo en la CPU. El parámetro “CPU_BIND_THREAD” especifica el modo de asignación de CPU para los hilos de inferencia, y el parámetro “CPU_THREADS_NUM” establece el número de hilos para la ejecución de inferencia.
Es posible que la configuración que proporcionaste no esté siendo reconocida por OpenVINO por alguna razón. Un problema potencial podría estar relacionado con el formato de la cadena de configuración. La documentación especifica que los valores de los parámetros deben estar entre comillas dobles, pero el comando de ejemplo que proporcionaste tiene comillas simples y dobles mezcladas. Podrías intentar modificar el comando para usar comillas dobles consistentes en toda la configuración y ver si eso resuelve el problema.
Si los parámetros de configuración aún no tienen efecto después de modificar el comando, podrías intentar revisar los registros de OpenVINO para ver si hay errores o advertencias relacionados con la configuración. También es posible que la versión de OpenVINO que estás utilizando tenga un error o problema de compatibilidad con el entorno de Docker que estás ejecutando. En ese caso, es posible que necesites comunicarte con el equipo de soporte de OpenVINO o probar una configuración diferente para lograr el número deseado de procesos e hilos.