如何避免Power BI连接Azure Data Lake Storage Gen2时的过载问题

不需要修改Azure服务器设置，核心是通过Power BI内置的增量刷新功能实现，DAX仅作为辅助补充，以下是关键要点：

1. 核心实现：Power BI增量刷新设置 #

• 必备条件：采购发票表必须包含可用于筛选的时间戳字段（如发票创建时间、最后更新时间），这是增量筛选的核心依据
• 操作步骤：
  • 在Power BI Desktop中选中目标大表，切换到「建模」选项卡，点击「增量刷新」
  • 配置刷新规则：设置数据保留范围（比如保留最近90天全量数据）和增量刷新范围（仅刷新最近1天的新增数据），指定时间戳字段作为筛选键
  • 发布到Power BI Web后，进入数据集的「设置」页面，确认增量刷新已启用，并配置匹配业务需求的刷新计划（比如每日凌晨执行）
• 底层逻辑：Power BI会自动将数据集拆分为多个分区，刷新时仅针对新增数据对应的分区读取ADLS Gen2内容，避免全量加载10GB旧数据

2. DAX的辅助场景 #

• 若需要更灵活的增量筛选逻辑（比如按业务结算日期而非系统时间戳），可在Power Query编辑器中结合DAX函数自定义筛选步骤
• 示例：添加筛选条件，用DAX计算前一天日期，仅加载该日期之后的记录：

  [发票创建时间] > Date.From(DateTime.LocalNow()) - #duration(1, 0, 0, 0)
  

• 注意：这种方式是在数据加载前做前置筛选，适合特殊业务场景，但内置增量刷新的分区管理更高效，适配常规每日增量需求

3. 关键注意事项 #

• ADLS Gen2端无需额外配置，只需确保Power BI服务拥有访问存储账户的权限（如通过服务主体、托管身份）
• 增量刷新仅支持导入模式的数据集；若使用DirectQuery模式，本身就是实时查询数据源，不存在全量加载问题
• 发布后要验证增量刷新效果：查看数据集的刷新历史，确认每次刷新的数据量远小于10GB，且新增数据已正确加载

内容的提问来源于stack exchange，提问作者amal