Airflow 1.10.12如何实现Azure Data Lake Gen2到GCS的文件传输
Airflow 1.10.12 跨存储拷贝问题解答
问题1:是否自带Azure Data Lake Gen2 到 Google Cloud Storage的拷贝算子
- Airflow 1.10.12 原生没有内置专门用于将文件从ADLS Gen2 Blob存储直接拷贝到GCS的算子。该版本的内置存储类算子仅支持单一云存储服务内部的文件操作,不包含跨云存储的直接迁移逻辑。
问题2:功能缺失的补充方案
- 首先你需要安装对应存储服务的Airflow扩展依赖,获取两类存储的访问能力:
- ADLS Gen2操作依赖:
pip install apache-airflow[azure]==1.10.12 - GCS操作依赖:
pip install apache-airflow[gcp]==1.10.12
- ADLS Gen2操作依赖:
- 安装完依赖后仍没有现成的跨存储拷贝算子,可通过两种方式实现需求:
- 自定义PythonOperator实现流式传输:调用
WasbHook读取ADLS Gen2的文件流,直接传入GCSHook的上传接口写入GCS,全程无需本地落盘,适合绝大多数中小文件的迁移场景,自定义逻辑的可控性和适配性也更高。 - 如果有大文件批量迁移的需求,也可以查找适配Airflow 1.10.x版本的第三方PyPI工具包来简化开发。
- 自定义PythonOperator实现流式传输:调用
自定义实现核心逻辑参考
from airflow.operators.python_operator import PythonOperator from airflow.contrib.hooks.wasb_hook import WasbHook from airflow.contrib.hooks.gcs_hook import GCSHook def adls_to_gcs_transfer(**context): # 初始化两类存储的Hook adls_hook = WasbHook(wasb_conn_id='your_adls_gen2_connection_id') gcs_hook = GCSHook(gcp_conn_id='your_gcs_connection_id') # 读取ADLS文件流 file_stream = adls_hook.get_file( container_name='your_adls_container_name', blob_name='source_file_path' ) # 直接上传到GCS gcs_hook.upload( bucket_name='your_gcs_bucket_name', object_name='target_file_path', data=file_stream ) # 实例化任务 transfer_task = PythonOperator( task_id='adls_gen2_to_gcs_transfer', python_callable=adls_to_gcs_transfer, provide_context=True, dag=your_dag_instance )
内容的提问来源于stack exchange,提问作者Pradeep Kumar
相关产品推荐
相关产品推荐

