如何逐行验证通过TSV导入的Pandas DataFrame？

• 性能拉胯：apply本质是逐行跑Python循环，3万行虽然能跑，但和pandas原生向量化操作比速度差很多，数据量再大的话会卡到难受。
• 代码难维护：把所有校验、转换逻辑堆在一个row_processor函数里，后续改某列的规则得翻半天代码，调试也麻烦。
• 错误日志容易乱：如果error_log是全局变量或者在apply里传递，不仅代码不规范，每行的错误信息凑在一起也容易冗余，排查问题时得挨个找。
• 返回值容易出问题：apply返回的行重新拼成DataFrame时，很容易出现类型隐式转换，比如本来是数值的列变成了object类型。

1. 分阶段用向量化操作处理 #

把校验和转换拆成多个步骤，针对每列用pandas原生方法处理，速度快还清晰：

• 类型转换：用pd.to_numeric()、pd.to_datetime()，加errors='coerce'把非法值转成NaN，还能先拿errors='raise'排查问题行；用downcast参数还能优化内存占用。
• 范围校验：用布尔索引直接筛选，比如df.loc[~df['latitude'].between(-90,90), 'latitude'] = np.nan，同时把这些行的索引和错误原因记到日志里。
• 提取新列：用str.extract()、str.split()这类字符串方法，比如df['code'] = df['info'].str.extract(r'(\w{3})')，一步到位生成新列。
• 分隔字符串转列表：直接用df['tags'] = df['tags'].str.split('/')，空值或非法格式会自动返回NaN，省心。
• 错误日志：每一步用布尔索引标记问题行，比如invalid_lat_rows = df.loc[~df['latitude'].between(-90,90)].index，把这些索引和错误类型写入日志文件。

2. 优化read_csv()的参数，加载时就处理 #

• 用sep='\t'明确指定TSV格式，加low_memory=False避免自动类型推断出错。
• 用converters参数给指定列加转换函数，比dtype灵活得多，比如：

  def process_latitude(val):
      try:
          num = float(val)
          return num if -90 <= num <=90 else np.nan
      except (ValueError, TypeError):
          return np.nan
  
  df = pd.read_csv('data.tsv', sep='\t', converters={'latitude': process_latitude})
  

  加载时就完成校验和转换，不用等加载完再折腾，效率更高。

3. 用replace()配合正则批量处理非法值 #

比如先把纬度列里的非数字字符替换成NaN，再转成数值类型：

df['latitude'] = df['latitude'].replace(r'[^-?\d.]', np.nan, regex=True).astype(float)

• pd.api.types工具函数：比如is_numeric_dtype()判断列类型，validate_dtype()检查数据是否符合指定类型，用来做类型校验很方便。
• 空值与重复值处理：isna()/notna()检测空值，dropna()/fillna()处理空值；duplicated()/drop_duplicates()处理重复行。
• 字符串列专用方法：通过str访问器，用str.match()检查格式、str.contains()判断内容、str.split()拆分字符串，都是原生向量化操作，速度快。
• 范围校验：between()方法直接生成布尔数组，快速筛选出超出范围的数值。

内容的提问来源于stack exchange，提问作者Carlos N