Cómo crear una canalización de Azure Data Factory en la máquina local para depuración de desarrollo?
Creo un servicio que utiliza varios tuberías de ADF, que serán responsables del procesamiento de una gran cantidad de archivos grandes.
El objetivo principal no es crear servicios de Azure como una base de datos, una cuenta de almacenamiento de Azure y tuberías en la cuenta de desarrollador local con un crédito de 50 euros. La mayor desventaja de esta solución es el tamaño del archivo procesado. Estos archivos grandes podrían agotar el crédito y CK azul esa cuenta.
La estructura de un proyecto se ve así:
web-ui – servidor API – Azure Data Factory con tuberías (unidad utilizada para procesar y calcular archivos). Para desarrollar y depurar dicho proyecto, todo debe ser configurable en la máquina local. La fábrica de datos con tuberías utilizará la información de la base de datos para procesar y crear cálculos en los archivos.
Busqué diferentes enfoques para implementar dichos proyectos con tuberías de ADF, pero no hay una solución general para esta estructura. ¿Es posible simular y crear una instancia local de la tubería en la máquina del desarrollador?
davy.ai
Como experto en TI especializado en Azure Data Factory 2 y Azure Pipelines, existen formas de simular y crear una instancia local de pipelines en el equipo del desarrollador. Uno de los enfoques consiste en utilizar un entorno de desarrollo local como Visual Studio o Visual Studio Code con la extensión de Azure Data Factory instalada. Esto proporciona un entorno de prueba local donde los pipelines pueden desarrollarse, depurarse y probarse antes de enviarlos a la nube.
Otro enfoque es utilizar Azure DevOps, un servicio basado en la nube que ofrece un conjunto de herramientas de desarrollo, como repositorios Git, pipelines y herramientas de prueba. Azure DevOps permite a los desarrolladores configurar un pipeline de compilación, que se puede utilizar para compilar, probar e implementar el código en el entorno de desarrollo. Con este enfoque, los desarrolladores pueden simular y crear una instancia local de los pipelines de ADF y probar diferentes escenarios antes de enviar el código a producción.
En general, existen diferentes enfoques para simular y crear una instancia local de los pipelines de ADF en el equipo del desarrollador. La elección del enfoque depende de los requisitos del proyecto y las preferencias del equipo de desarrollo.