Azure Data Flow中Cosmos DB到SQL DB Upsert时出现‘Key column does not exist in mapped columns’错误求助

看起来你遇到的这个问题确实挺挠头的——明明Sink里能选到Id列，规则映射也没排除它，重新导了投影还是报Key列不存在的错，我之前处理类似的自动映射+Upsert场景时也踩过类似的坑，给你几个排查和解决的思路：

一、先确认规则映射真的没把Id列排除在外 #

你用的是规则映射name != 'column1' && name != 'column2'，这里要特别注意Cosmos DB返回的列名大小写是否和你写的规则匹配！比如Cosmos里的列是ID而不是Id，或者反过来，规则里的大小写不对就会不小心把Id给过滤掉了。

• 可以临时把规则映射改成只保留Id列测试：name == 'Id'，运行数据预览看看有没有Id列，如果没有就说明大小写或者列名拼写有问题。
• 也可以在规则映射后面加一个派生列转换，直接查看当前数据流里的全部列列表，确认Id确实在输出列中。

二、彻底清理Data Flow的缓存投影 #

有时候Data Flow的缓存投影会“记仇”，即使你重新导入了投影，旧的缓存还在作祟，试试这几个操作：

1. 先删除Sink的投影配置，然后重新选择“导入投影”（不是刷新，是完全删除后再重新导入）；
2. 把整个Select转换删掉，重新添加一个Select转换再配置规则映射，避免旧的转换配置残留；
3. 保存整个Data Flow，发布一次Pipeline，然后关闭浏览器重新打开再测试——这个操作经常能清掉一些看不见的缓存数据。

三、排查自动映射和规则映射的冲突 #

因为你开了自动映射，同时又用了规则映射，有时候两者会有冲突：自动映射可能会覆盖规则映射的结果，或者反过来。

• 可以先关掉自动映射，完全用规则映射来控制输出列，明确包含Id列，然后再配置Sink的Upsert Key；
• 或者在规则映射里显式添加包含Id的规则，比如把规则改成name == 'Id' || (name != 'column1' && name != 'column2')，确保Id被优先包含进去，不会被排除规则误过滤。

四、检查Cosmos DB源的嵌套结构 #

Cosmos DB经常会有嵌套列，有时候Id可能是嵌套在某个对象里的，你以为是顶级列，但实际数据流里它是parent.Id这样的嵌套列，这时候即使Sink里能选到Id，映射的时候其实没把嵌套的Id映射成顶级列。

• 可以在Cosmos源的转换里，先把嵌套列展开，确保Id是顶级输出列；
• 或者在派生列里手动把嵌套的Id提取成顶级列：Id = parent.Id，然后再用规则映射。

如果以上方法都试过还是不行，你可以把规则映射的具体配置、Sink的Upsert Key配置和数据预览里的列列表信息补充出来，这样能更精准地定位问题。

内容来源于stack exchange