Pandas解析CSV遇 尾符及列数不一致问题求助

问题1：行尾\r字符导致第18列非纯数字 #

行尾的\r是Windows换行符（CRLF）的残留，会附着在最后一列数值后，导致无法转为数字类型。可通过读取时预处理或读取后清洗字段解决。

问题2：个别行字段数超出18列触发解析错误 #

对于少量字段数异常的行，直接跳过会丢失数据，更稳妥的方式是截断多余字段，保留核心的18列数据。

优化后的处理脚本 #

import pandas as pd
import os

def process_csv(input_path, output_path):
    # 逐行读取并预处理，解决字段数不一致和行尾\r问题
    processed_lines = []
    with open(input_path, 'r', encoding='utf-8') as f:
        # 读取并清洗表头
        header = f.readline().strip('\r\n')
        processed_lines.append(header)
        
        for line in f:
            # 去除行尾的\r\n，拆分字段
            cleaned_line = line.rstrip('\r\n')
            fields = cleaned_line.split(',')
            
            # 统一字段数为18列：超出行截断，不足行跳过（可按需改为补空）
            if len(fields) != 18:
                if len(fields) > 18:
                    fields = fields[:18]
                else:
                    continue
            
            # 清洗第18列（索引17，从0开始），移除\r及其他非数字字符
            fields[17] = ''.join([c for c in fields[17] if c.isdigit() or c == '.'])
            
            # 重新拼接为合规行
            processed_lines.append(','.join(fields))
    
    # 写入临时文件，避免pandas直接解析报错
    temp_path = 'temp_cleaned.csv'
    with open(temp_path, 'w', encoding='utf-8') as f:
        f.write('\n'.join(processed_lines))
    
    # 读取清洗后的CSV，强制第18列为数值类型
    df = pd.read_csv(temp_path, dtype={17: float})
    
    # 导出可导入Elasticsearch的干净数据
    df.to_csv(output_path, index=False, encoding='utf-8')
    
    # 删除临时文件
    os.remove(temp_path)

# 调用示例
process_csv('input.csv', 'output_cleaned.csv')

关键优化点说明 #

• 逐行预处理：绕过pandas解析时的tokenize错误，精准控制字段结构和字符清洗。
• 字段数统一：对超出行截断、不足行跳过（可按需调整为补空），保证数据结构一致。
• 第18列清洗：只保留数字和小数点，彻底清除\r等干扰字符，确保满足Elasticsearch的数字字段要求。
• 临时文件过渡：预处理后再用pandas读取，兼顾解析稳定性和类型转换效率。

内容的提问来源于stack exchange，提问作者Ethan777