You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Azure Data Lake Storage Gen2 (ADLS Gen2)能否作为Kedro管道的数据源

Kedro对ADLS Gen2的支持情况说明
  • 明确结论:Kedro官方对Azure Blob Storage的支持范围完全覆盖Azure Data Lake Storage Gen2(ADLS Gen2)
  • 适配逻辑:ADLS Gen2本身是基于Azure Blob Storage架构升级而来的服务,原生兼容Blob Storage的API接口,仅额外扩展了分层命名空间、细粒度权限控制等特性,不会和Kedro的现有Blob数据源适配逻辑产生冲突
  • 实际使用说明:
    你可以直接使用Kedro内置的各类Azure Blob相关数据集(比如AzureBlobDataSet、AzureParquetDataSet等)对接ADLS Gen2,仅需要在数据目录(catalog)配置中填写对应ADLS Gen2存储账户的认证信息、容器名、文件路径即可,不需要做额外的特殊适配。
    如果你使用的是较新版本的Kedro,也可以通过底层依赖的fsspec库的abfs协议对接ADLS Gen2,对分层目录结构的支持更友好,读写效率也更高。

内容的提问来源于stack exchange,提问作者Downforu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.09.26 23:06:04