从DataFrame三列中提取多分隔符合规数据元素的技术咨询

你的逐列逐行遍历、分割校验的思路完全可行，能精准实现需求，但在数据量较大时，手动循环的效率会偏低。推荐用Pandas的矢量化操作替代循环，既能简化代码，又能大幅提升处理速度。

优化后的实现步骤 #

• 合并列并清理空值：把需要处理的三列合并成单列，直接过滤掉所有NaN值
• 批量分割与展开元素：用内置的字符串分割和展开方法，替代手动循环拆分
• 正则匹配过滤有效数据：用矢量化的正则匹配，一次性筛选出符合Data_+3位数字格式的元素
• 去重排序：直接调用Pandas的去重和排序方法生成最终列表

代码示例 #

import pandas as pd
import re

# 模拟你的DataFrame
df = pd.DataFrame({
    'ID': ['01', '02', '03', '04'],
    'Column_A': ['Data_1;Data_2;Data_3', 'Data_7', pd.NA, 'Garbage'],
    'Column_B': ['Data_4;Data_5', 'Data_8;Data_9', pd.NA, 'Data_10;Data_11'],
    'Column_C': ['Data_6', pd.NA, pd.NA, 'Data_12']
})

# 合并目标列，去除空值
combined_series = df[['Column_A', 'Column_B', 'Column_C']].stack().dropna()

# 分割每个单元格的内容并展开为单个元素
all_elements = combined_series.str.split(';').explode()

# 定义正则规则：匹配Data_开头+3位数字的格式
valid_pattern = re.compile(r'^Data_\d{3}$')
valid_data = all_elements[all_elements.str.match(valid_pattern, na=False)]

# 去重并排序得到最终列表
final_result = valid_data.drop_duplicates().sort_values().tolist()

print(final_result)

注意事项 #

• 你提供的示例数据里，所有Data_后的数字都是1-2位，不符合3位数字的要求，所以运行上述代码会得到空列表。如果实际数据中有Data_001、Data_123这类格式的内容，会被正确提取。
• 矢量化操作是Pandas的核心优势，相比手动循环，在处理万级以上数据时，速度能提升几十甚至上百倍。

内容的提问来源于stack exchange，提问作者user3556622