Python Pandas读取CSV列未拆分及多文件合并报错求助

1. 解决UnicodeDecodeError #

文件编码不匹配是核心原因，默认utf-8编码无法解析文件中的特殊字符。

• 先用chardet库检测文件实际编码：

  import chardet
  with open('target.csv', 'rb') as f:
      encoding_info = chardet.detect(f.read())
  # 输出示例：{'encoding': 'gbk', 'confidence': 0.99}
  

• 读取时指定检测到的编码：

  import pandas as pd
  df = pd.read_csv('target.csv', header=None, encoding=encoding_info['encoding'])
  

2. 解决列未按逗号拆分问题 #

要么是文件分隔符不是逗号，要么是字段包含逗号但未用引号包裹。

• 确认分隔符：如果是分号、制表符，直接指定sep参数：

  df = pd.read_csv('target.csv', header=None, sep=';')  # 分号分隔
  df = pd.read_csv('target.csv', header=None, sep='\t')  # 制表符分隔
  

• 字段含逗号的情况，开启引号识别：

  import csv
  df = pd.read_csv('target.csv', header=None, sep=',', quotechar='"', quoting=csv.QUOTE_ALL)
  

3. 解决csv模块的"line contains NUL"错误 #

文件中存在空字节（\x00），可能是文件损坏或二进制格式误存。

• 方法1：用pandas跳过坏行（适合新版pandas）：

  df = pd.read_csv('target.csv', header=None, on_bad_lines='skip')
  

• 方法2：手动过滤空字节后读取：

  with open('target.csv', 'r', encoding='gbk') as f:
      cleaned_content = [line.replace('\x00', '') for line in f if line.strip()]
  # 转为DataFrame并拆分列
  df = pd.DataFrame([row.split(',') for row in cleaned_content])
  

import pandas as pd
import chardet
import csv
import os

# 自定义表头
HEADER = ['字段1', '字段2', '字段3', '字段4']  # 替换为你的实际表头
CSV_DIR = './your_csv_folder'  # 替换为你的CSV文件目录
merged_data = []

for file_name in os.listdir(CSV_DIR):
    if not file_name.endswith('.csv'):
        continue
    file_path = os.path.join(CSV_DIR, file_name)
    
    # 检测编码
    with open(file_path, 'rb') as f:
        enc = chardet.detect(f.read())['encoding']
    
    # 读取文件并处理各类问题
    df = pd.read_csv(
        file_path,
        header=None,
        encoding=enc,
        sep=',',
        quotechar='"',
        quoting=csv.QUOTE_ALL,
        on_bad_lines='skip'
    )
    
    # 添加表头
    df.columns = HEADER
    merged_data.append(df)

# 合并所有数据集
final_df = pd.concat(merged_data, ignore_index=True)
# 保存结果
final_df.to_csv('merged_result.csv', index=False, encoding='utf-8-sig')

内容的提问来源于stack exchange，提问作者Kristopher Penland