如何快速自动转换DataFrame中字符串至对应数据类型？

针对大型DataFrame，ast.literal_eval()逐单元格处理的效率太低，以下是几个无需手动指定列类型的高效替代方案：

• 使用pandas内置的convert_dtypes()方法
  pandas 1.0版本以上提供的原生方法，自动推断并转换object列到合适的nullable数据类型（如string、Int64、boolean、datetime64等），批量处理效率远高于逐单元格操作。
  示例代码：

  import pandas as pd
  df = df.convert_dtypes()
  

  该方法会保留缺失值，且不会破坏无法转换的列内容。

• 批量转换数值型列：pd.to_numeric()
  如果你的object列以数值内容为主，可以用pd.to_numeric()批量处理，只转换能识别为数值的列，无法转换的保持原类型：

  for col in df.select_dtypes(include=['object']).columns:
      df[col] = pd.to_numeric(df[col], errors='ignore')
  

  这是向量级别的操作，比循环调用ast.literal_eval快得多。

• 读取阶段直接推断类型（从文件加载场景）
  如果你的DataFrame是从CSV等文件读取的，直接在读取时启用自动类型推断，避免后续转换步骤：

  df = pd.read_csv('your_data.csv', dtype_backend='numpy_nullable')
  

  dtype_backend='numpy_nullable'会让pandas自动识别每列的最优数据类型，包括支持缺失值的nullable类型，整体效率最高。

• 第三方库pyjanitor的智能转换
  pyjanitor的convert_column_types()方法能更智能地识别复杂类型（如日期、分类、嵌套结构等），适合多场景的自动转换：

  import janitor
  df = df.convert_column_types()
  

  使用前需先安装：pip install pyjanitor

核心原因：ast.literal_eval()是逐单元格的Python层面循环操作，而上述方案均利用pandas的底层C优化或批量向量操作，在大型DataFrame上的性能差距会非常明显。

内容的提问来源于stack exchange，提问作者HedgeLow