PBI服务高级容量下Dataflow对接90M行Snowflake表刷新无法完成问询

• Snowflake数据源侧排查
  • 确认Snowflake对应虚拟仓库的配置，90M行表全量拉取建议使用至少Medium规格的仓库，避免仓库资源不足导致查询执行过慢
  • 检查Snowflake查询历史，定位Dataflow发起的查询是否被其他高优先级任务阻塞、是否存在全表扫描无分区裁剪的情况，可执行以下命令快速检索对应查询的执行状态：

    SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY WHERE USER_NAME = '<PBI服务账号>' AND START_TIME >= DATEADD('day',-7,CURRENT_TIMESTAMP())
    

• Dataflow配置优化
  • 禁用Dataflow默认的并行加载选项，大表全量加载时并行拉取容易触发Snowflake的流量控制，反而拉长整体执行时间
  • 确认Dataflow中是否存在不必要的转换步骤，比如排序、合并查询、逐行计算类操作，90M行数据的转换放在Power Query端执行的资源消耗远高于在Snowflake侧用SQL预计算完成，建议把所有过滤、聚合、字段裁剪逻辑提前写到Snowflake的自定义查询中，不要拉取全表后再在Dataflow中处理
  • 若必须全量拉取整张表，开启Dataflow的增量刷新配置，按日期/主键字段拆分为多个批次拉取，单次拉取数据量控制在5M-10M行区间，避免单次查询数据量过大导致连接超时
• Premium容量侧调整
  • 检查当前Premium容量的工作负载，确认Dataflow运行时段没有大量其他报表刷新、分页报表运行等高消耗任务抢占资源，必要时可以单独预留一个容量节点专门用于大体积Dataflow的刷新
  • 调整容量设置中Dataflow的最大内存分配占比，默认配置通常为20%，大表加载场景可以调整到40%-60%，避免内存不足导致刷新任务陷入假死
  • 确认容量所在区域和Snowflake服务所在区域一致，跨区域拉取数据的带宽限制会严重拖慢数据传输速度
• 验证排查
  • 先用Power BI Desktop连接同个Snowflake表，执行和Dataflow完全一致的查询逻辑，记录本地刷新的耗时，如果本地刷新也需要数小时，优先优化查询逻辑和Snowflake仓库规格
  • 若本地刷新可以在1小时内完成，直接在Power BI管理中心提交支持工单，定位Premium容量侧的任务调度故障

内容的提问来源于stack exchange，提问作者Randy Minder