Dataflow连接Azure Analysis Service刷新耗时过长及超时问题咨询
Dataflow连接Azure Analysis Service(AAS)刷新超时问题的可能诱因
触发的报错信息如下:
- 因一个或多个实体存在问题,或Dataflow功能不可用,无法完成Dataflow刷新
- 单个实体刷新超出2小时时限
以下是符合场景特征的核心诱因:
- 数据传输与序列化瓶颈
AAS侧10分钟返回查询结果仅代表计算环节完成,190万行结果集需要从AAS实例传输到Dataflow运行环境、再做序列化转换后写入Dataflow对应的存储层。SSMS、Power BI Desktop默认使用高压缩二进制协议传输结果,而部分版本的Dataflow AAS连接器使用未压缩的XMLA协议传输,数据传输量最高可达前者的5~10倍,同时Dataflow托管运行环境的带宽、存储写入限流都会进一步拉长该环节耗时,这部分开销不会被统计到AAS的查询日志中。 - 非下推转换的额外开销
如果在Dataflow实体中配置了列类型转换、去重、合并、自定义函数计算等操作,这些操作无法下推到AAS执行,会由Dataflow的计算引擎单独处理。190万行数据的本地转换耗时很容易达到小时级,而在SSMS、Power BI Desktop中执行查询时没有额外附加这些转换步骤,因此执行速度更快。 - 运行环境资源不足与静默重试
入门级Power BI容量、低配置的Dataflow数据集成单元(DIU)的CPU、内存资源有限,处理大体积结果集时会出现频繁的内存换页、任务排队。同时Dataflow默认遇到网络波动、存储写入超时等问题时会触发静默重试,多次重试的耗时会叠加到整体刷新时长中,极端情况下会直接触发2小时的单实体超时阈值。 - 数据拉取策略不合理
部分版本的AAS连接器默认未开启并行拉取配置,只能单线程逐批次拉取结果集,如果单批次行数配置不合理(批次过小导致多次往返开销、批次过大导致单批次处理超时重试),都会大幅拉长数据拉取的总耗时。
内容的提问来源于stack exchange,提问作者Nandan
相关产品推荐
相关产品推荐

