Azure Data Factory中Join与Lookup活动的区别及可否互换咨询

二者看似都能实现“保留主流全部行、匹配引用侧值补全字段”的效果，但绝大多数业务场景下无法直接互换。只有在主流是小体量单表、引用侧每条主流记录仅匹配1条引用值、引用集总规模极小的测试场景下，二者输出结果才会完全一致。

• 设计定位差异
  Lookup的原生设计目标是作为参照值提取工具，用来拿配置类、小体量的参考数据给主流做字段补全、参数赋值，从来不是为了处理大规模数据集的关联计算设计的；Left Outer Join是标准的分布式数据关联算子，从设计上就是用来承接任意规模的数据集匹配逻辑的。
• 运行机制与性能差异
  Lookup执行时会自动把引用侧的全量数据加载到单台Spark节点的内存缓存里做匹配，不支持分布式分片关联，一旦引用侧数据量超过单节点内存阈值，就会直接抛出内存溢出错误；Left Outer Join走Data Flow内置的分布式关联优化逻辑，支持广播提示、倾斜数据处理、分片并行计算，哪怕关联两侧都是千万级行规模的数据集，也可以通过调整执行参数稳定运行。
• 匹配输出规则差异
  这是替换时最容易踩坑的核心区别：Lookup只要找到第一条符合匹配条件的引用侧记录就会停止查找，哪怕引用侧存在上百条符合条件的记录，也只会把第一条的字段值附加到主流行上；Left Outer Join会把所有满足关联条件的记录和主流行做全匹配展开，如果1条主流行对应3条符合条件的引用侧记录，最终输出就会膨胀为3行。简单来说，用Lookup替换Left Outer Join会直接丢失多匹配的关联结果，用Left Outer Join替换Lookup会直接造成无意义的输出行数膨胀。
• 能力边界差异
  Lookup支持给引用数据源设置动态过滤规则、自定义最多提取的引用数据行数（单任务最多支持提取5000行参照数据），还可以直接把提取到的结果赋值给整个管道层的全局变量；Left Outer Join仅支持基于两个数据流的字段做等值关联，无法直接把关联侧的结果传递给管道层的全局变量，所有计算结果只能在数据流内部流转。
• 可对接的数据源范围差异
  Lookup只能对接独立的外部数据源，无法直接引用同一条数据流内上游转换步骤的计算结果；Left Outer Join可以直接衔接同一条数据流链上任意上游步骤的输出，不需要把中间计算结果落地为临时存储数据集。

内容的提问来源于stack exchange，提问作者user2249979