为何Data Flow Cache Sink输出与Data Preview及DataSet Sink结果不一致

问题原因 #

• Cache Sink开启Write to activity output选项后，默认仅返回数据流第一个分区的数据，不会自动合并多分区的结果。你当前场景下扁平化处理后的3条数据被拆分到了多个分区，返回的1条是第一个分区的全部内容，剩余2条存放在其他分区，不会被写入活动输出。
• DataSet Sink写入存储时会自动合并所有分区的数据，因此可以得到完整的3条记录。

解决方法 #

在数据流的Cache Sink节点前新增一个重新分区步骤，分区类型选择单分区，确保所有数据归集到同一个分区后再输出到Cache Sink，即可拿到全部匹配的记录。

注意：该功能还有2MB的总输出大小限制，若后续数据量超过阈值会被自动截断，需要调整方案。

内容的提问来源于stack exchange，提问作者AWhitford