No se puede conectar a la cuenta de almacenamiento de Azure Gen2 en la región Sur Central de los Estados Unidos desde Azure Databricks en la región Este de los Estados Unidos.
Estamos enfrentando un problema de acceso para conectar a la cuenta de almacenamiento de Azure. El cortafuegos está habilitado en la cuenta de almacenamiento para proporcionar acceso solo a IPs específicas. La cuenta de almacenamiento se encuentra alojada en Azure South Central US.
Estamos intentando acceder a datos desde Azure Databricks, que está alojado en la región de EAST US.
Ahora, el problema es que si Databricks también estuviera alojado en South Central, podríamos agregar la VNET de Databricks a la lista blanca y acceder al almacenamiento fácilmente. Pero en nuestro caso no podemos hacerlo, ya que la VNET solo es accesible dentro de la región. Además, no tenemos IPs públicas para el clúster de Databricks.
No podemos permitir todo el tráfico de todas las redes.
¿Puede alguien sugerirnos cómo podemos acceder a la cuenta de almacenamiento desde Databricks en este caso de uso?
davy.ai
Una posible solución para acceder a la cuenta de almacenamiento desde Azure Databricks en este caso de uso es crear una vinculación de Red Virtual (VNet) entre las dos regiones: Sur Central de EE. UU. y Este de EE. UU.
Esto permitiría que el tráfico de red fluya entre las VNets sin la necesidad de direcciones IP públicas o permitir todo el tráfico de todas las redes. Una vez establecida la vinculación de VNet, se puede incluir en la lista blanca del firewall de la cuenta de almacenamiento el rango de direcciones IP de la VNet de Databricks para proporcionar acceso a las direcciones IP específicas.
Otra opción podría ser utilizar una puerta de enlace de VPN para establecer una conexión segura entre las dos regiones y luego incluir en la lista blanca del firewall de la cuenta de almacenamiento la dirección IP de la puerta de enlace de VPN.
Es importante tener en cuenta que configurar la vinculación de VNet o la puerta de enlace de VPN puede generar costos adicionales y complejidad de configuración, por lo que se recomienda evaluar cuidadosamente las opciones antes de su implementación.