含1000万条记录的CSV文件在7777761行附近读取失败，求解决思路

1. 先确认文件物理完整性 #

• 用哈希校验工具（如md5sum/sha256sum）对比原始文件哈希值，确认文件是否在传输或保存过程中被截断。若哈希不符，直接重新获取原始文件。
• 用命令行直接定位问题行附近查看内容：
  • Linux/macOS：sed -n '7777750,7777770p' your_file.csv
  • Windows PowerShell：Get-Content your_file.csv -Skip 7777749 -First 21
    重点检查这几行是否存在缺失分隔符、引号不闭合、不可见控制字符等格式异常。

2. 排查并修复问题行格式 #

• 如果发现引号不闭合或字段未正确转义，用支持显示控制字符的编辑器（如VS Code）打开对应行修正格式。
• 检查文件编码，用file -i your_file.csv查看编码类型，若存在非UTF-8乱码，用iconv转码后重试：

  iconv -f [原编码] -t UTF-8 your_file.csv > converted_file.csv
  

3. 临时绕过问题行的处理方案 #

• Pandas处理时，用新版参数跳过错误行并输出提示：

  import pandas as pd
  chunk_size = 100000
  for idx, chunk in enumerate(pd.read_csv('your_file.csv', chunksize=chunk_size, on_bad_lines='skip', warn_bad_lines=True)):
      chunk.to_csv(f'chunk_{idx}.csv', index=False)
  

• 用命令行删除问题行生成新文件：

  sed '7777761d' your_file.csv > fixed_file.csv
  

4. 验证文件是否真的截断 #

• 用wc -l your_file.csv统计总行数，对比预期的1000万+1表头行，若行数明显不足，说明文件截断，重新获取完整文件。
• 查看文件末尾内容，若最后一行字段不完整，直接判定为截断，重新获取原始文件。

5. 排除工具自身限制 #

• Excel数据模型对大文件支持有限，换用Power Query导入，或用专业ETL工具（如Apache NiFi、Talend）处理。
• MySQL导入时，用LOAD DATA INFILE命令替代图形化工具，同时检查max_allowed_packet等参数是否配置足够：

  LOAD DATA INFILE '/path/to/your_file.csv'
  INTO TABLE your_table
  FIELDS TERMINATED BY ',' ENCLOSED BY '"'
  LINES TERMINATED BY '\n'
  IGNORE 1 LINES;
  

内容的提问来源于stack exchange，提问作者TokyoPaul9