BCP批量复制工具忽略CSV源文件首行数据问题排查

问题场景 #

在使用BCP工具批量加载大型数据集时，发现CSV源文件的首行数据（即107,"Brown, George",A这一行）未成功加载到数据库表中，测试所用的相关文件及命令如下：

数据库表DDL #

use sandbox;

drop table dbo.people;

create table dbo.people
( 
  PersonID smallint NOT NULL,
  FullName varchar(60) NOT NULL,
  PerformanceRating varchar(1) NOT NULL
);

BCP格式文件（PeopleTableFormat.xml） #

<?xml version="1.0"?>
<BCPFORMAT xmlns="http://schemas.microsoft.com/sqlserver/2004/bulkload/format" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
 <RECORD>
  <FIELD ID="1" xsi:type="CharTerm" TERMINATOR=",&quot;" MAX_LENGTH="7"/>
  <FIELD ID="2" xsi:type="CharTerm" TERMINATOR="&quot;," MAX_LENGTH="60" COLLATION="SQL_Latin1_General_CP1_CI_AS"/>
  <FIELD ID="3" xsi:type="CharTerm" TERMINATOR="
" MAX_LENGTH="1" COLLATION="SQL_Latin1_General_CP1_CI_AS"/>
 </RECORD>
 <ROW>
  <COLUMN SOURCE="1" NAME="PersonID" xsi:type="SQLSMALLINT"/>
  <COLUMN SOURCE="2" NAME="FullName" xsi:type="SQLVARYCHAR"/>
  <COLUMN SOURCE="3" NAME="PerformanceRating" xsi:type="SQLVARYCHAR"/>
 </ROW>
</BCPFORMAT>

加载脚本（LoadPeopleDataFromCsvFile.sh） #

#!/bin/bash
bcp dbo.people in ./data.csv -S MyServerName -E -d sandbox -T -c -t "," -F 1 -e errors.csv -f ./PeopleTableFormat.xml

数据源文件（data.csv） #

PersonID,FullName,PerformanceRating
107,"Brown, George",A
128,"White, Amanda",B
133,"Green, Greg",B

问题原因 #

1. 参数冲突导致格式文件失效
   你在BCP命令中同时使用了-c（字符格式模式）和-f（自定义格式文件）参数，这两个参数互斥。BCP会优先采用-c模式，忽略你定义的格式文件，转而使用-t ","作为字段分隔符。但你的CSV中FullName字段包含带逗号的内容（如"Brown, George"），直接用逗号分隔会将字段拆分错误，导致首行数据的字段数量与表结构不匹配，被判定为错误行跳过。

2. 起始行设置错误
   命令中-F 1指定从第一行开始加载，但CSV第一行是表头（字段名），并非有效数据，尝试加载表头会触发类型不匹配错误（如PersonID字段是数字类型，表头是字符串），也会干扰后续数据行的解析。

解决方案 #

修改加载脚本 #

移除冲突的-c和-t ","参数，同时将起始行改为-F 2以跳过表头：

#!/bin/bash
bcp dbo.people in ./data.csv -S MyServerName -E -d sandbox -T -F 2 -e errors.csv -f ./PeopleTableFormat.xml

验证逻辑 #

修改后的命令会：

• 采用你定义的格式文件解析数据，正确识别带引号字段内的逗号，避免拆分错误；
• 从第二行开始加载，跳过表头行，只处理有效数据；
• 若仍有错误，errors.csv会记录具体的解析问题，便于进一步排查。

内容的提问来源于stack exchange，提问作者knot22