如何遍历DataFrame提取指定字符串片段并写入新列

需求梳理 #

• 待处理的Pandas DataFrame中存在一类核心内容固定、后缀随机的重复特征字符串
• 需要定位所有符合特征的字符串位置，剔除冗余后缀内容
• 提取后的有效片段写入预先创建的空目标列
• 处理逻辑自动覆盖全量数据，直到所有匹配项处理完成

参考效果 #

实现方法 #

不需要手动编写逐行循环+终止判断逻辑，用Pandas内置的向量化字符串处理方法可以自动扫描全量数据完成匹配提取，执行效率远高于手写循环，且天然覆盖所有匹配条目，不会出现漏处理问题。

1. 首先梳理目标字符串的共同特征，编写对应正则匹配规则：将需要保留的核心片段用圆括号包裹，冗余的可变后缀部分不纳入捕获组。
   举个例子：如果所有目标字符串都是ITEM_开头加数字编号（比如ITEM_1001_随机后缀备注、ITEM_2356_其他无效内容），需要保留的核心是ITEM_xxxx部分，对应正则规则为(ITEM_\d+)。
2. 编写核心处理代码：

import pandas as pd
import re

# 替换成你自己的正则匹配规则
match_pattern = r'(ITEM_\d+)'
# 替换成你的原始内容列名、预先创建的空目标列名
raw_col_name = "原始内容列"
target_col_name = "目标列"

# 自动扫描全量原始列，提取匹配到的核心片段写入目标列
df[target_col_name] = df[raw_col_name].str.extract(match_pattern, flags=re.IGNORECASE)

3. 特殊场景适配：如果单个原始单元格内存在多个符合特征的目标字符串，需要全部提取，可以用str.findall方法：

# 提取单元格内所有匹配项，用逗号拼接后写入目标列
df[target_col_name] = df[raw_col_name].str.findall(match_pattern).apply(lambda x: ','.join(x) if x else pd.NA)

4. 处理结果校验：执行完代码后运行以下语句，返回0即代表所有匹配条目都已处理完成：

unhandled_count = df[
    (df[raw_col_name].str.contains(match_pattern, na=False)) & 
    (df[target_col_name].isna())
].shape[0]
print(f"剩余未处理匹配条目数：{unhandled_count}")

内容的提问来源于stack exchange，提问作者animosityheals