DataFrame列遍历：如何将行值转为字符串以使用正则表达式？

为什么单独处理有效，循环处理无效？ #

1. 赋值缺失：单独处理单个元素时，你直接操作标量值，转换后可直接使用；但循环处理列时，astype('string')会返回新的Series，若未将其重新赋值回原DataFrame的对应列，原列仍保持object类型，后续正则操作自然无法生效。
2. 元素类型混杂：你的object列中可能混有非字符串类型（比如None、数值、空值），单独处理时刚好选中字符串元素，循环处理时遇到非字符串元素会导致转换不彻底，进而影响正则执行。

正确的处理方法 #

第一步：排查列内元素类型（可选但推荐） #

先确认最后10列是否存在非字符串元素，避免后续转换异常：

# 检查最后10列的元素类型分布
for col in df.columns[-10:]:
    print(f"列名: {col}")
    print(df[col].apply(type).value_counts())
    print("---")

第二步：用矢量化操作批量处理（高效可靠） #

不要逐行循环，直接对整列做类型转换和正则处理，同时确保赋值回原列：

import re

# 定义匹配标点的正则表达式（可根据需求调整，比如保留特定标点）
punct_regex = re.compile(r'[^\w\s]')

# 遍历最后10列处理
for col in df.columns[-10:]:
    # 1. 将列转换为pandas String类型（自动处理空值/非字符串元素）
    df[col] = df[col].astype('string')
    # 2. 用正则去除标点
    df[col] = df[col].str.replace(punct_regex, '', regex=True)

进阶处理：处理空值/非字符串元素 #

如果列内存在大量NaN或None，可先填充为空字符串再转换，避免出现<NA>标记：

for col in df.columns[-10:]:
    # 填充空值为字符串空值，再转换类型
    df[col] = df[col].fillna('').astype('string')
    # 去除标点
    df[col] = df[col].str.replace(punct_regex, '', regex=True)

关键注意点 #

• 必须重新赋值：astype('string')不会修改原列，一定要把结果赋值回df[col]，否则原列类型不变。
• 优先矢量化操作：54k行的DataFrame逐行循环效率极低，pandas的列级操作是专门为批量数据优化的，速度快得多。

内容的提问来源于stack exchange，提问作者DanInco