使用Ruby脚本通过BCP导入CSV到SQL Server时如何跳过首列并解决导入失败问题

• 场景说明：Ruby脚本通过TinyTds调用SQL Server的BULK INSERT接口批量导入CSV数据，目标表无对应CSV首列id（SQL Server标识列）的字段，需要导入时跳过该列，当前配置下导入完全失败
• 核心目标：修正现有格式文件与SQL语法，实现不修改CSV原始文件、跳过首列的批量导入

现有实现的问题定位 #

• 语法非法：现有BULK INSERT语句中文件路径、格式文件路径用花括号{}包裹，不符合T-SQL语法规范，SQL Server无法识别文件位置
• 格式文件不匹配：当前格式文件仅定义了2个源列，和CSV实际的3列（id、first_name、email）结构不一致，会导致列解析错位
• 路径逻辑错误：若使用相对路径students.csv、format_file.fmt，SQL Server服务进程会在自身安装目录下寻找文件，而非Ruby脚本运行目录，必然找不到目标文件

修正后的完整实现 #

1. 重写BCP格式文件format_file.fmt #

格式文件的核心是把源CSV的3列结构全部定义，将需要跳过的id列设置为不映射到目标表，修正后的文件内容如下：

14.0
3
1       SQLCHAR       0       100      ","      0     id                 ""
2       SQLCHAR       0       70       ","      1     first_name         ""
3       SQLCHAR       0       70       "\r\n"   2     email              ""

关键配置说明：

• 第二行的3代表源CSV总共有3个列字段，必须和实际CSV列数完全一致
• 对应id列的配置行，目标表列序号字段填写0，代表该列仅用于源文件结构校验，不插入到目标表，实现跳过首列的需求
• 最后一列email的行终止符设置为\r\n，匹配Windows系统下CSV的换行规则，避免下一行数据粘连到上一行

2. 修正Ruby脚本中的BULK INSERT逻辑 #

调整SQL语法，将路径替换为SQL Server服务可访问的绝对路径，增加执行结果校验，修正后的代码片段：

#通过bcp导入数据到mssql
def bcp_importing
    puts("Inside bcp importing function")
    # 路径需替换为SQL Server服务器本地的绝对路径，确保SQL Server服务账号有读取权限
    csv_server_path = 'C:\\MSSQLImport\\students.csv'
    fmt_server_path = 'C:\\MSSQLImport\\format_file.fmt'
    sql_query = <<~SQL
        BULK INSERT ABBTesting102
        FROM '#{csv_server_path}'
        WITH (
            FORMATFILE = '#{fmt_server_path}',
            TABLOCK
        );
    SQL
    result = @client.execute(sql_query)
    # 执行语句，捕获错误而非无校验直接提示成功
    result.do
    puts("Importing Successfully Completed")
end

落地注意事项 #

• 文件访问权限：BULK INSERT的文件读取主体是SQL Server服务进程，不是运行Ruby脚本的应用进程，因此CSV、格式文件必须放在SQL Server能访问的服务器本地路径，非必要不使用UNC路径，避免权限校验失败
• 格式文件版本号：开头的14.0对应SQL Server 2017版本，若使用更低版本的SQL Server，可将版本号调整为对应兼容值（如10.0对应SQL Server 2008）
• 跳过列的兼容性：该方式不需要修改原始CSV文件，不需要手动剔除首列，完全通过格式文件定义实现列跳过，适配源文件含不需要导入的标识列的场景

内容的提问来源于stack exchange，提问作者The Wolfie