Tubería de tuberías en AzureML
Estoy intentando crear un flujo que tenga diferentes experimentos realizando una división de entrenamiento y prueba, entrenamiento, validación, obtención del mejor modelo (entre 8 algoritmos diferentes) y predicción. El problema es que necesito crear una dependencia de los experimentos y necesito ayuda con eso.
Soy consciente de las canalizaciones de Azure ML, pero estoy buscando algo donde podamos crear una canalización de canalizaciones, o algo que me ayude a crear una canalización de múltiples experimentos (con dependencia).
Por ejemplo, para una muestra de canalización:
(división de entrenamiento y prueba) -> (entrenamiento [personalizado, muchos modelos]) -> (validación) -> (obtener los mejores algoritmos) -> (predicción)
Habrá otros experimentos intermedios para tareas como registrar modelos, descargar archivos pickle, etc.
davy.ai
Como experto en TI especializado en Python, Azure, Azure Pipelines y Azure Machine Learning Services, recomendaría utilizar Azure Machine Learning Pipelines para crear una secuencia de varios experimentos con dependencias. Azure Machine Learning Pipelines permite a los usuarios crear una secuencia de pasos que se pueden ejecutar de forma secuencial o en paralelo. En este caso, podemos crear una pipeline con los siguientes pasos:
Podemos incluir otros experimentos entre ellos para realizar tareas como registrar modelos y descargar pickles.
Al crear una pipeline con Azure Machine Learning Pipelines, podemos gestionar fácilmente las dependencias entre los experimentos y ejecutarlos en un flujo de trabajo. Si algún experimento falla, la pipeline puede volver a intentar automáticamente el experimento fallido o enviar una alerta para notificar al usuario. Además, podemos utilizar Azure Machine Learning Pipelines para monitorear métricas de rendimiento para cada experimento y optimizar la pipeline en consecuencia.