Pandas读取CSV触发ValueError：无法将字符串'amount'转为float，求原因

核心原因 #

错误提示ValueError: could not convert string to float: 'amount'说明读取时，某个行的amount列位置出现了字符串'amount'，而非预期的数值。结合你的操作和代码，可能的诱因包括：

• CSV文件存在重复表头行：你设置了skiprows=[1]跳过第一行，但部分输入文件可能在数据中间重复写入了表头（比如多次拼接CSV时未处理好），导致某一行的amount列位置是字符串'amount'。
• 列名映射不匹配：feature_columns_names的内容可能和实际CSV的列顺序不对应，导致把原本是表头或其他字符串的列读到了amount字段里。
• 写入CSV时的参数异常：如果写入时用了默认的header=True生成表头，但个别文件写入出现异常，导致表头行未被正确跳过，或者某些数据行被误写为表头内容。

解决步骤 #

1. 排查CSV文件内容
   直接打开输入的CSV文件，搜索'amount'字符串，确认是否存在除第一行外的其他行包含该内容。也可以用代码快速检查：

import pandas as pd
for file in input_files:
    with open(file, 'r') as f:
        for idx, line in enumerate(f):
            # 假设amount是第三列，对应索引2，根据实际列顺序调整
            if 'amount' in line.split(',')[2]:
                print(f"文件 {file} 的第 {idx+1} 行存在'amount'字符串")

2. 调整读取逻辑

   • 若确认每个CSV文件仅第一行是表头，保留skiprows=1，添加on_bad_lines='skip'（pandas 1.4+版本）跳过异常行，先读取数据再处理问题：

     raw_data = [
             pd.read_csv(
                 file,
                 header=None,
                 names=feature_columns_names + [label_column],
                 dtype=merge_two_dicts(feature_columns_dtype, label_column_dtype),
                 skiprows=1,
                 low_memory=False,
                 on_bad_lines='skip'
             )
             for file in input_files
         ]
     

   • 若存在多处表头行，改用converters参数做容错转换，避免读取失败：

     import numpy as np
     
     def convert_amount(s):
         try:
             return float(s.strip())
         except ValueError:
             return np.nan  # 用NaN标记异常值，后续可筛选处理
     
     raw_data = [
             pd.read_csv(
                 file,
                 header=None,
                 names=feature_columns_names + [label_column],
                 dtype=merge_two_dicts(feature_columns_dtype, label_column_dtype),
                 skiprows=1,
                 low_memory=False,
                 converters={'amount': convert_amount}
             )
             for file in input_files
         ]
     # 读取后筛选异常值排查
     concat_data = pd.concat(raw_data)
     print(concat_data[concat_data['amount'].isna()])
     

3. 验证列名映射
   确认feature_columns_names的顺序和CSV文件的列顺序完全一致，比如如果CSV列顺序是transaction_id,created_at,amount,is_fraud，那么feature_columns_names应为['transaction_id', 'created_at', 'amount']，label_column为'is_fraud'，避免列错位导致类型转换错误。

4. 检查写入CSV的代码
   确认写入时参数正确，避免重复写入表头或多余内容：

# 写入时确保只输出一次表头，且不带索引
df.to_csv('your_file.csv', index=False, header=True)

内容的提问来源于stack exchange，提问作者MSS