Azure存储账户文件存储最佳实践咨询及ADF读取配置疑问

一、当前文件存储方式是否属于最佳实践？ #

这种文件夹嵌套存储方式本身没有绝对的对错，核心取决于业务场景：

• 如果子文件夹是按照明确规则（比如业务线、数据生成日期、数据类型）分类管理数据，那这种分层是合理的，能提升数据的可维护性和筛选效率；
• 如果只是无规则的随意嵌套，没有明确分类逻辑，会增加数据定位、批量操作的复杂度，就不属于最佳实践。

二、Azure存储账户文件存储的最佳实践 #

• 按业务/时间维度分层：采用年/月/日、业务线/数据类型这类清晰的层级结构，让数据组织逻辑一目了然，方便后续按维度筛选或处理
• 统一命名规范：文件名和文件夹名使用一致规则，比如包含时间戳、数据标识（如20240520_sales_data.csv），避免无意义命名或乱码，降低识别成本
• 配置存储生命周期管理：根据数据访问频率，将冷数据（如超过90天未访问）自动移至归档层或冷存储层，有效降低存储成本
• 控制嵌套层级深度：建议文件夹层级不超过5-6层，过深嵌套会增加路径解析难度，也不利于批量操作和权限管理
• 精细化权限配置：针对不同团队或用户，仅分配对应文件夹的访问权限，避免开放全容器权限，提升数据安全性

三、配置ADF仅读取目标文件夹（不包含子文件夹）的方法 #

方法1：通过数据集配置 #

1. 在ADF中打开对应的Blob Storage数据集，切换到连接选项卡
2. 指定目标文件夹路径（可通过「浏览」选择或手动输入）
3. 找到递归选项，将其设置为False（默认值为True，会遍历所有子文件夹）

方法2：在活动中单独覆盖配置 #

如果需要针对单个活动单独设置，可在对应活动的配置中调整：

• 复制活动：在源设置里找到递归选项，设置为False
• Get Metadata活动：在活动设置的字段列表区域，将递归选项设为False，仅获取目标文件夹下的文件列表

内容的提问来源于stack exchange，提问作者FrMS