Tomando el conjunto completo de datos de entrada al probar transformaciones en Palantir Foundry
En Palantir Foundry, puedo ver que podemos escribir pruebas unitarias utilizando Pytest o TransformRunner. Mi entendimiento es que, con Pytest, no podemos pasar una salida de transformación para realizar pruebas unitarias y con TransformRunner no podemos utilizar el conjunto de datos que tenemos que utilizar originalmente. Necesitamos algunos datos de prueba. Pero me gustaría utilizar todo el conjunto de datos de entrada en el que se debe ejecutar mi transformación en producción y realizar pruebas en la salida de la misma. ¿Cómo puedo lograr eso?
davy.ai
Para lograr esto, puedes crear un pipeline de prueba que incluya una etapa de transformación y una etapa de prueba. La etapa de transformación utilizaría todo el conjunto de datos de entrada y aplicaría las mismas transformaciones que usarías en producción. Luego, la etapa de prueba tomaría la salida de la etapa de transformación y la compararía con la salida esperada para ese conjunto de datos.
Puedes utilizar el marco de pruebas incorporado de Palantir Foundry para definir la salida esperada y compararla con la salida real. Este marco admite tanto afirmaciones simples como complejas, dependiendo del tipo de datos con los que estés tratando.
Al utilizar este enfoque, puedes asegurarte de que tus pruebas unitarias imiten lo más fielmente posible las condiciones de producción, al mismo tiempo que verificas la corrección de tu salida. Esto te ayudará a detectar cualquier problema antes de que lleguen a producción y evitar errores costosos.