如何用向量化方式对5万+元素的字符串列表按后缀子串分组？

原方法效率低的核心问题是两次嵌套遍历，时间复杂度达O(n²)，处理5万条数据自然速度慢。下面用pandas的向量化操作实现，能大幅提升处理效率：

实现思路 #

• 借助pandas的向量化字符串处理能力，批量操作替代循环
• 一次性提取所有字符串的后缀
• 直接通过内置分组逻辑完成分组，避免手动筛选

完整代码 #

import pandas as pd

# 加载数据（替换为你的文件读取逻辑）
with open('your_file.txt', 'r') as f:
    fileL = f.read().split(' ')

# 将字符串列表转为pandas Series，启用向量化操作
str_series = pd.Series(fileL)

# 批量提取后缀：匹配末尾的 .+字母 格式，无匹配则填充空字符串
suffixes = str_series.str.extract(r'(\.\w+)$', expand=False).fillna('')

# 按后缀分组，生成「后缀:对应字符串列表」的字典
grouped_result = str_series.groupby(suffixes).apply(list).to_dict()

代码说明 #

1. 向量化后缀提取：str.extract是pandas原生的向量化方法，一次性处理所有元素，比循环调用正则快几十倍
2. 高效分组：groupby基于底层C实现，处理5万条数据几乎瞬间完成，远快于手动循环筛选
3. 异常兼容：fillna('')自动将无匹配后缀的字符串归到空字符串组，替代原代码的try-except逻辑，更健壮

对比原方法的优势 #

• 时间复杂度从O(n²)降至O(n)（pandas内部优化）
• 代码更简洁，无需手动维护后缀列表和多层循环
• 内置逻辑更稳定，不会因单个字符串格式问题中断流程

内容的提问来源于stack exchange，提问作者solocazzimiei