Azure Data Factory数据流派生列表达式意外乱码及报错问题咨询

异常成因 #

• 表达式生成器前端解析BUG：当单条拼接表达式涉及的字段数过多（通常超过12个）、嵌套多层字符串函数、或引用的字段名包含特殊字符（中文、空格、连续下划线、ADF保留关键字）时，前端解析逻辑会出现截断、语序错乱问题，导致表达式被意外修改。
• 上游Schema变更触发校验异常：编写表达式过程中如果上游数据源的Schema发生更新（比如上游源活动刷新Schema、字段被删改），当前字段的表达式依赖丢失，会先触发数据预览失败，继而触发前端异常校验逻辑重写原有表达式。
• 浏览器缓存冲突：同时打开多个ADF编辑页面、或ADF工作台会话持续超过2小时未刷新时，本地缓存的临时表达式数据会与后台同步数据冲突，保存时错误的缓存内容会覆盖正常编写的表达式。

修复与变通方案 #

原始表达式找回方法 #

• 进入ADF工作区的版本历史页面，找到编辑该数据流之前的正常版本，导出对应数据流的JSON配置，在derivedColumnTransformation节点下找到对应字段的expression属性值，即为未被打乱的原始表达式。
• 如果还未发布/保存该数据流，可直接刷新页面放弃当前修改，重新进入数据流编辑页即可看到修改前的正常表达式。

问题修复方法 #

• 拆分过长的拼接表达式：将单条长拼接逻辑拆分为多个中间派生列处理，比如先拼接前4个字段为temp_col1，再拼接后续4个字段为temp_col2，最后合并所有临时列得到最终字段，避免单条表达式过长触发前端解析BUG。
• 规范字段名引用：所有包含特殊字符的字段名统一用{}包裹，比如{用户姓名}、{order_id}，避免表达式生成器将特殊字符识别为运算符。

规避方案 #

• 编写复杂表达式前，先锁定上游数据源Schema，不要中途刷新上游Schema。
• 表达式编写完成后，先全选复制表达式内容存储到本地记事本，再点击保存并完成按钮，若出现表达式错乱可直接粘贴恢复。
• 避免同时打开多个ADF编辑页面，长时间编辑时每30分钟刷新一次工作台页面，避免缓存冲突。

内容的提问来源于stack exchange，提问作者ray