Las variables de entorno de Azure Databricks para alternar contienen comillas en Python.
Sé que hay muchas preguntas aquí sobre cómo manejar las citas en las variables de entorno. Esta pregunta tiene un enfoque diferente, por favor continue leyendo:
Antes de la semana pasada, configuramos nuestras variables de entorno en nuestro clúster de databricks (7.3 LTS, incluye Apache Spark 3.0.1, Scala 2.12) de la siguiente manera:
EXAMPLE_FOO=”gaga”
Por alguna razón (no recuerdo), necesitábamos las comillas para obtener este resultado en Python:
print(os.environ[“EXAMPLE_FOO”]) => gaga
Desde la semana pasada, el comportamiento cambió, ahora obtenemos:
print(os.environ[“EXAMPLE_FOO”]) => “gaga”
con las comillas. No tenemos idea de por qué cambió esto de repente. No hubo una actualización de software o algo similar de nuestra parte en este sistema de producción. Nos gustaría entender la causa raíz. ¿Ha cambiado alguna biblioteca en databricks o hay una bandera de configuración en databricks donde se puede cambiar este comportamiento?
Nota: Sabemos cómo manejar ambos casos en Python, así que no es necesario decirnos cómo manejar las variables. Necesitamos saber qué pudo haber causado repentinamente el problema.
davy.ai
Es posible que haya habido un cambio en el comportamiento predeterminado de cómo se interpretan las variables de entorno en la última versión del clúster de databricks o alguna biblioteca relacionada en la que su sistema depende. Esto podría deberse a una actualización de software o cambio de configuración realizado por el proveedor del clúster.
Para investigar más a fondo, puede ser necesario revisar las notas de lanzamiento de databricks o bibliotecas relacionadas para saber si se hicieron cambios en la forma en que se manejan las variables de entorno. Además, también puede contactar directamente al equipo de soporte del proveedor del clúster de databricks para obtener más ayuda sobre este tema.
En cualquier caso, es importante tener en cuenta que el comportamiento de las variables de entorno puede cambiar con el tiempo y en diferentes sistemas, por lo que siempre es una buena práctica probar y verificar el comportamiento de su código regularmente, especialmente cuando se trata de sistemas de producción importantes.