You need to enable JavaScript to run this app. Airflow 1.10.12如何实现Azure Data Lake Gen2到GCS的文件传输
优惠活动
大模型
产品
解决方案
定价
更多

Airflow 1.10.12如何实现Azure Data Lake Gen2到GCS的文件传输

Airflow 1.10.12 跨存储拷贝问题解答

问题1:是否自带Azure Data Lake Gen2 到 Google Cloud Storage的拷贝算子

  • Airflow 1.10.12 原生没有内置专门用于将文件从ADLS Gen2 Blob存储直接拷贝到GCS的算子。该版本的内置存储类算子仅支持单一云存储服务内部的文件操作,不包含跨云存储的直接迁移逻辑。

问题2:功能缺失的补充方案

  • 首先你需要安装对应存储服务的Airflow扩展依赖,获取两类存储的访问能力:
    • ADLS Gen2操作依赖:pip install apache-airflow[azure]==1.10.12
    • GCS操作依赖:pip install apache-airflow[gcp]==1.10.12
  • 安装完依赖后仍没有现成的跨存储拷贝算子,可通过两种方式实现需求:
    1. 自定义PythonOperator实现流式传输:调用WasbHook读取ADLS Gen2的文件流,直接传入GCSHook的上传接口写入GCS,全程无需本地落盘,适合绝大多数中小文件的迁移场景,自定义逻辑的可控性和适配性也更高。
    2. 如果有大文件批量迁移的需求,也可以查找适配Airflow 1.10.x版本的第三方PyPI工具包来简化开发。

自定义实现核心逻辑参考

from airflow.operators.python_operator import PythonOperator
from airflow.contrib.hooks.wasb_hook import WasbHook
from airflow.contrib.hooks.gcs_hook import GCSHook

def adls_to_gcs_transfer(**context):
    # 初始化两类存储的Hook
    adls_hook = WasbHook(wasb_conn_id='your_adls_gen2_connection_id')
    gcs_hook = GCSHook(gcp_conn_id='your_gcs_connection_id')
    # 读取ADLS文件流
    file_stream = adls_hook.get_file(
        container_name='your_adls_container_name',
        blob_name='source_file_path'
    )
    # 直接上传到GCS
    gcs_hook.upload(
        bucket_name='your_gcs_bucket_name',
        object_name='target_file_path',
        data=file_stream
    )

# 实例化任务
transfer_task = PythonOperator(
    task_id='adls_gen2_to_gcs_transfer',
    python_callable=adls_to_gcs_transfer,
    provide_context=True,
    dag=your_dag_instance
)

内容的提问来源于stack exchange,提问作者Pradeep Kumar

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 18:42:02