按空行拆分Excel数据后，如何筛选含“data element too short”的DataFrame？

问题根源 #

• 字符串不匹配：你要找的是data element too short，但实际数据里的文本是177 data'element too short——data和element之间是单引号而非空格，这是匹配失败的直接原因。
• 数据结构处理错误：numpy.split返回的是多个小DataFrame组成的列表，你把它转成pd.DataFrame后，后续的apply逻辑会变得混乱，增加匹配难度。

修正后的代码 #

import pandas as pd
import numpy as np

# 1. 把单列数据转为DataFrame（你的原有步骤）
df1 = pd.DataFrame(email_list['SENDER'])

# 2. 按空行拆分得到小DataFrame的列表
split_indices = df1[df1.isnull().all(1)].index
df_list = np.split(df1, split_indices)

# 3. 过滤拆分后产生的空DataFrame（避免干扰）
df_list = [df for df in df_list if not df.empty]

# 4. 筛选包含目标内容的分片
# 注意：使用数据中实际存在的带单引号的字符串
target_str = "data'element too short"
# 如果需要兼容单引号和空格，改用正则：target_str = r"data['\s]element too short"

matched_dfs = []
for df in df_list:
    # 检查当前分片的SENDER列是否包含目标字符串
    if df['SENDER'].astype(str).str.contains(target_str, regex=False).any():
        matched_dfs.append(df)

# 查看匹配结果
for idx, df in enumerate(matched_dfs):
    print(f"匹配到的分片 {idx+1}:")
    print(df)
    print("-" * 50)

代码说明 #

• 直接操作numpy.split返回的DataFrame列表，避免不必要的类型转换，逻辑更清晰。
• 修正目标字符串以匹配实际数据，或用正则表达式兼容单引号/空格两种写法。
• 遍历列表逐个检查小DataFrame，比apply更直观，降低出错概率。

内容的提问来源于stack exchange，提问作者user6803504