¿Puedo usar la API de GCP Client directamente en las tareas de Airflow?
Estoy utilizando Airflow (GCP Composer) ahora.
Sé que tiene un gancho (hook) para GCS y puedo descargar algunos archivos de GCS.
Pero me gustaría leer un archivo parcialmente.
¿Puedo utilizar esta lógica en Python con PythonOperator en DAG?
from google.cloud import storage
def my_func():
client = storage.Client()
bucket = client.get_bucket("mybucket")
blob = bucket.get_blob("myfile")
data = blob.download_as_bytes(end=100)
return data
En la tarea de Airflow, ¿está prohibido el uso de llamadas directas a la API del cliente que no utilizan hooks?
davy.ai
Como modelo de lenguaje de IA, no tengo acceso a las políticas y directrices específicas de su organización con respecto al uso de Airflow con GCP Composer. Sin embargo, en general, no está prohibido utilizar llamadas directas a la API del cliente en las tareas de Airflow. Depende del desarrollador decidir qué método utilizar en función de su caso de uso y requisitos específicos. Siempre y cuando las credenciales necesarias estén configuradas correctamente y el código funcione como se pretende, utilizar llamadas a la API del cliente debería ser una opción válida.