Azure Data Factory中CSV数据类型验证未生效，如何实现校验失败终止管道？

为什么原来的设置没生效？ #

数据源的validate schema选项主要管列名、列数量是否和投影匹配，不管数据内容的类型合规性。而且CSV是纯文本格式，默认会把所有字段读成字符串，detect data type只是帮你推断初始类型，但数据流不会自动强制校验每个值的类型是否符合投影定义——这就是你测试时没触发失败的原因。

具体实现步骤 #

1. 固定投影的目标数据类型 #

• 打开数据源转换的投影选项卡，手动给每个字段设置明确的目标类型（别完全依赖detect data type），比如把需要是整数的字段直接设为integer，数值型设为decimal。
• 同时在数据源的连接设置里，找到类型转换相关选项，开启“强制类型转换”（不同工具叫法可能有差异，比如Azure Data Factory里要调整数据源的类型处理规则，避免把数值型字段默认读成字符串）。

2. 添加字段级的类型校验逻辑 #

用派生列转换做强制校验，给每个需要校验的字段写判断表达式，一旦不符合类型就抛出错误终止数据流：

• 比如对整数字段user_id，表达式写：isInteger(user_id) ? user_id : error("字段user_id必须是整数，当前值: " + user_id)
• 对数值字段order_amount，表达式写：isDecimal(order_amount) ? order_amount : error("字段order_amount必须是数值，当前值: " + order_amount)
• 只要触发error()函数，数据流会立刻终止，同时输出你定义的错误信息，完全符合“数据类型无效就终止管道”的要求。

3. 强化schema校验（可选） #

如果还要同时校验列名、列数量是否匹配，保持以下设置：

• 数据源的validate schema选项勾选，这样CSV列数、列名和投影不匹配时直接失败。
• 在数据流的全局设置里，开启“严格类型校验”（部分ETL工具支持这个选项），确保类型转换时不自动兼容非法值，直接报错。

4. 测试验证 #

上传带非法数据的CSV（比如整数字段填了字符串），运行数据流，此时会因为error()触发而终止，同时能看到具体的错误提示；上传合法数据时，数据流正常执行并把数据加载到数据库表。

内容的提问来源于stack exchange，提问作者Potis23