ADF Copy Activity源REST、Sink SQLMI报bcp无效列长度错误排障咨询

报错信息：ErrorCode=SqlOperationFailed,Message=Received an invalid column length from the bcp client for colid 20.

问题1：报错中的colid 20对应的列顺序 #

colid 20对应的是复制活动映射配置中输出到Sink端的列序列的第20列，和ADF「映射」标签页里从上到下排列的映射行顺序完全对应，不是REST API源返回的原生列顺序。如果映射时你跳过了部分源列、调整了列顺序，就以映射页的Sink列顺序为准。

问题2：定位异常字段和取值的方法 #

• 第一步先确定问题字段：打开复制活动的映射标签页，从上往下数第20行的Sink端字段名，就是存在长度溢出的字段。
• 定位具体异常值可以用这几个方案：
  • 临时修改复制活动的Sink为Azure Blob存储的CSV文件，全量拉取源API数据后直接导出到CSV，排查第20列的取值，找到长度超出目标表字段定义的内容
  • 临时把目标表对应的第20个字段类型修改为NVARCHAR(MAX)，全量运行管道写入成功后，执行SQL查询筛选异常行：

    SELECT [问题字段名], LEN([问题字段名]) AS 字段实际长度 
    FROM [目标表名] 
    WHERE LEN([问题字段名]) > 该字段原定义的最大长度
    

  • 在复制活动的「设置」页开启容错功能，选择「跳过不兼容的行」并指定日志输出路径，运行管道后直接查看日志，会记录具体是哪一行的该字段长度超出限制。

问题3：源字段长度超出时的截断处理方案 #

可以直接在ADF复制活动中完成截断，不需要额外加转换活动，有两种可选方案：

• 全局自动截断：在复制活动的Sink配置页，找到「写入设置」板块，勾选「允许截断字符串」选项，ADF会自动把所有超出目标字段长度的字符串类型字段截断到目标字段允许的最大长度后写入，无需单独配置每个字段。
• 单字段自定义截断：在映射配置中，点击对应源字段的「动态内容」按钮，输入截断表达式即可，比如目标字段允许的最大长度是200，表达式为 @substring(item()?.[对应的源字段名], 0, 200)，超出200的部分会被自动截断。

内容的提问来源于stack exchange，提问作者bmickey