如何过滤Pandas DataFrame空列表行？te_ins列过滤失效排查

问题原因 #

你用转字符串过滤的逻辑失效，核心原因是两列的“空列表”并非同一类型：

• no_te_ins列的空列表是真正的空列表[]，转字符串后为'[]'，你的过滤条件能匹配到；
• te_ins列的“空列表”实际是包含空字符串的列表['']，转字符串后为"['']"，和你过滤的'[]'不匹配，所以无法被过滤。
  本质是混淆了**空列表[]和仅含空字符串的列表['']**这两种完全不同的数据结构。

修复方法 #

方法1：直接判断列表有效性（推荐） #

不用转字符串，直接对列表内容做判断，既能识别真正的空列表，也能处理仅含空字符串的情况：

# 保留no_te_ins和te_ins列均非空、且不全是空白内容的行
te_filter = te_filter[
    te_filter['no_te_ins'].apply(lambda x: len(x) > 0 and any(s.strip() for s in x)) &
    te_filter['te_ins'].apply(lambda x: len(x) > 0 and any(s.strip() for s in x))
]

逻辑说明：

• len(x) > 0排除真正的空列表[]
• any(s.strip() for s in x)排除列表里全是空字符串/空白字符的情况（比如['']、[' ']）

方法2：兼容字符串转换的临时方案 #

如果一定要基于字符串判断，需要同时匹配两种字符串格式：

# 同时匹配空列表的字符串形式和含空字符串列表的字符串形式
invalid_strs = ['[]', "['']"]
te_filter = te_filter[
    ~te_filter['no_te_ins'].astype(str).isin(invalid_strs) &
    ~te_filter['te_ins'].astype(str).isin(invalid_strs)
]

⚠️ 注意：这种方式依赖列表转字符串的格式稳定性，若Pandas版本或数据存储方式变化，可能失效，不推荐长期使用。

方法3：用explode辅助验证（适合列表元素较少的场景） #

通过将列表元素展开，验证是否存在有效内容：

# 验证te_ins列是否有非空白有效内容
te_ins_has_valid = te_filter['te_ins'].explode().fillna('').str.strip().ne('').groupby(level=0).any()
# 验证no_te_ins列是否有非空白有效内容
no_te_ins_has_valid = te_filter['no_te_ins'].explode().fillna('').str.strip().ne('').groupby(level=0).any()
# 过滤出两列都有有效内容的行
te_filter = te_filter[te_ins_has_valid & no_te_ins_has_valid]

内容的提问来源于stack exchange，提问作者emor