使用BCP导入SQLite大型CSV至SQL Server时遇Unexpected EOF错误

DevOps 小满

2026-6-13

使用BCP导入大型CSV到SQL Server时遇Unexpected EOF错误的解决思路

在将SQLite导出并经Python标准化的6500万行CSV（约4GB）导入SQL Server时，持续触发BCP错误：

SQLState = S1000, NativeError = 0
Error = [Microsoft][ODBC Driver 17 for SQL Server]Unexpected EOF encountered in BCP data-file

CSV结构示例（列名葡萄牙语）：

12345678|EMPRESA TESTE LTDA|2062|49|01|nan|1000.0

目标表列类型与CSV匹配，首行为表头，已完成以下排查：

验证文件为无BOM的UTF-8编码；
用pandas.to_csv(sep='|', lineterminator='\r\n', quoting=csv.QUOTE_NONE, na_rep='')生成CSV；
确认所有行列数与表头、目标表（7列）一致；
使用BCP命令：

bcp test.table in "file.csv" -S {SERVERNAME} -d {DATABASE} -U {USER} -P {PWD} -c -t "|" -r "\r\n" -F 2 -q -e C:\error_file.txt

另外，即使执行chunk.fillna('', inplace=True)，Pandas仍会导出部分空字段为nan字符串，疑似影响BCP解析。

问题解答

除你排查的点外，还有这些常见诱因：

文件损坏或传输中断：4GB大文件在生成、复制过程中可能出现隐式损坏，比如磁盘IO错误、网络传输丢包，可通过计算文件哈希值（如MD5）验证完整性；
BCP的-c参数编码兼容问题：-c默认使用OEM编码（如Windows-1252），而非UTF-8。即使文件是UTF-8无BOM，BCP用-c读取时仍可能因编码不匹配导致字节解析错误，误判为EOF。可尝试添加-C 65001参数指定UTF-8编码；
字段含特殊字符：如果某字段包含未转义的分隔符（|）或行终止符（\r\n），BCP会错误拆分行，导致后续行结构混乱，最终触发EOF错误。比如企业名称里如果有|，未加引号的话会直接破坏列数；
内存/资源限制：BCP处理超大文件时，若服务器或客户端内存不足，可能出现读取中断，表现为EOF错误。

编码仍有可能是问题核心，尤其是-c参数的默认编码与文件实际编码不匹配的情况。

针对该错误的实操方案：

修复nan值问题：Pandas的fillna可能对某些数据类型（如float64的缺失值）不生效，可强制转换所有列为字符串后再填充：
```
chunk = chunk.astype(str).fillna('')
```
或者直接替换导出后的nan字符串：
```
with open('file.csv', 'r+', encoding='utf-8') as f:
    content = f.read().replace('nan', '')
    f.seek(0)
    f.write(content)
    f.truncate()
```
拆分文件分批导入：将4GB文件拆分为多个1GB以内的小文件，用BCP分批导入，降低单次处理的资源压力，也便于定位具体哪部分数据出错；
启用BCP的错误日志详情：当前-e参数仅记录错误行，可添加-m 10（最多显示10条错误）并结合-v（ verbose模式）获取更详细的错误位置，定位具体出错行；
验证行终止符一致性：用二进制编辑器检查文件末尾及中间行的行终止符是否严格为\r\n，避免出现混合\n的情况（比如某些行因Pandas处理异常只输出\n）。

BCP本身不会误处理nan值，但如果nan出现在数值型列中，会导致类型转换失败，进而中断导入，表现为EOF错误（因为解析中断后后续数据无法读取）。

除BCP外，这些方法更适合大规模数据迁移：

使用Azure Data Factory (ADF)：创建管道直接连接SQLite和Azure SQL Server，通过数据流动进行字段映射、缺失值处理，无需生成中间CSV。ADF支持增量迁移和错误重试，适合超大规模数据集；
SQL Server Integration Services (SSIS)：搭建SSIS包，用SQLite ODBC驱动作为数据源，Azure SQL Server作为目标，通过数据流任务批量迁移。SSIS提供丰富的数据转换组件，可处理nan值、特殊字符等问题；
直接SQLite转SQL脚本：用sqlite3命令行工具导出SQL脚本，再调整语法适配SQL Server：
```
sqlite3 your_db.sqlite .dump > dump.sql
```
然后手动替换SQLite特有的语法（如AUTOINCREMENT改为IDENTITY，TEXT改为VARCHAR(MAX)等），最后在Azure SQL Server中执行脚本；
使用mssql-scripter+sqlite3组合：先从SQLite导出CSV，再用mssql-scripter生成BULK INSERT语句，替代BCP，BULK INSERT对大文件的兼容性更好，且支持更灵活的参数配置。

内容的提问来源于stack exchange，提问作者Wima