Azure Data Lake Storage Gen2 (ADLS Gen2)能否作为Kedro管道的数据源
Kedro对ADLS Gen2的支持情况说明
- 明确结论:Kedro官方对Azure Blob Storage的支持范围完全覆盖Azure Data Lake Storage Gen2(ADLS Gen2)
- 适配逻辑:ADLS Gen2本身是基于Azure Blob Storage架构升级而来的服务,原生兼容Blob Storage的API接口,仅额外扩展了分层命名空间、细粒度权限控制等特性,不会和Kedro的现有Blob数据源适配逻辑产生冲突
- 实际使用说明:
你可以直接使用Kedro内置的各类Azure Blob相关数据集(比如AzureBlobDataSet、AzureParquetDataSet等)对接ADLS Gen2,仅需要在数据目录(catalog)配置中填写对应ADLS Gen2存储账户的认证信息、容器名、文件路径即可,不需要做额外的特殊适配。
如果你使用的是较新版本的Kedro,也可以通过底层依赖的fsspec库的abfs协议对接ADLS Gen2,对分层目录结构的支持更友好,读写效率也更高。
内容的提问来源于stack exchange,提问作者Downforu
相关产品推荐
相关产品推荐

