如何在ADF数据流中基于Date列正确关联数据并避免列重复？

成因分析 #

• Join转换配置遗漏：在ADF数据流的Join操作中，仅将Date列设为关联条件，但未在列选择/映射环节移除其中一侧的Date列，全量数据加载时会保留两侧的Date列；抽样数据因数据量小或抽样规则限制，未触发重复显示。
• 数据类型隐性差异：两个表的Date列看似类型一致，实际可能存在精度差异（如一个是datetime类型，一个是date类型），ADF抽样预览未检测到该差异，全量数据加载到PowerBI后，因PowerBI的类型解析规则更严格，两列被识别为不同字段。
• 列名格式差异：若两个表的Date列存在大小写（如Date/date）、前后空格差异，ADF抽样时会自动归一化显示，但PowerBI严格区分列名格式，最终显示为两个独立的Date列。

解决方法 #

• 调整Join转换的列映射：进入ADF数据流的Join转换界面，切换到映射选项卡，手动移除其中一个Date列（保留任意一侧的Date列即可），确保输出仅含一个Date列。
• 统一Date列数据类型：在Join操作前，对两个表的Date列分别添加Derived Column转换，显式转换为相同类型，例如统一转为date类型，表达式为：toDate(Date)。
• 标准化列名：在数据源读取环节或通过Derived Column转换，将两个表的Date列名统一为完全一致的格式（消除大小写、空格差异）。
• 全量预览验证：不要仅依赖ADF的抽样预览，开启Debug模式加载全量数据进行预览，提前排查列重复问题，避免到PowerBI阶段才发现异常。

内容的提问来源于stack exchange，提问作者Herwini