如何在Azure Data Factory数据流中关联逗号分隔列与字符串列

可以实现，以下是对应你两种思路的具体操作方案：

方案一：模拟JOIN中的IN关联逻辑 #

你提到的SQL写法无法直接在ADF数据流的Join转换中实现，需要先拆分表A的逗号分隔列，再做常规关联：

• 给表A的数据源添加拆分列转换：选择DelimitedColumn列，分隔符设为逗号，拆分模式选择「拆分为行」。这一步会把单条含逗号分隔值的记录拆成多条单值记录（比如原记录值为"a,b,c"会拆成3条，每条对应一个单独值）。
• 添加Join转换：将拆分后的表A与表B关联，关联条件设置为 表A.DelimitedColumn == 表B.SingleStringColumn，选择你需要的连接类型（比如内连接）。
• 添加选择转换：只保留表B的所有列，最终效果和你给出的SQL一致。

方案二：模拟传入列作为IN条件的逻辑 #

如果要实现类似将表A的逗号分隔列集合作为筛选条件，可以通过聚合+筛选的方式实现：

• 给表A添加聚合转换：不设置分组键，使用表达式 join(collect(DelimitedColumn), ',') 将所有逗号分隔的字符串合并成一个全局的逗号分隔大字符串（比如合并后得到"val1,val2,val3"）。
• 获取这个聚合后的字符串：可以通过查找转换在同一个数据流中获取该值，或者将其作为参数传递到表B的数据流中。
• 给表B添加筛选转换：为避免部分匹配的误判（比如值ab匹配到abc），先将聚合后的大字符串处理为前后带逗号的格式（如,val1,val2,val3,），然后设置筛选条件为 contains(处理后的字符串, concat(',', SingleStringColumn, ','))，这就等价于SQL中SingleStringColumn IN (...)的效果。

内容的提问来源于stack exchange，提问作者TopBanana9000