如何高效删除Pandas DataFrame中不符合自定义条件的行？

1. 用Pandas矢量化字符串操作替代apply（最优解，速度最快） #

直接利用Pandas原生的str方法链完成注释移除、长度计算和过滤，完全避免逐行apply，效率提升显著：

步骤1：编写JS注释匹配正则 #

覆盖单行//和多行/* */注释（支持跨行的多行注释匹配）：

import re

# 匹配单行注释与多行注释的正则表达式
comment_pattern = r'//.*?$|/\*[\s\S]*?\*/'

步骤2：链式操作完成过滤 #

无需创建中间列，直接通过布尔索引筛选符合条件的行；如果要使用drop方法原地修改数据，也可以直接实现：

# 直接生成过滤后的新DataFrame
df_filtered = df[
    df['content']
    .str.replace(comment_pattern, '', regex=True, flags=re.MULTILINE)
    .str.len() > 200
]

# 原地删除不符合条件的行（对应drop需求）
df.drop(
    df[
        df['content']
        .str.replace(comment_pattern, '', regex=True, flags=re.MULTILINE)
        .str.len() <= 200
    ].index,
    inplace=True
)

优势：矢量化操作是Pandas底层优化的逻辑，比apply快10-100倍（数据量越大，性能差距越明显），代码也更简洁直观。

2. 正则准确性优化（针对复杂JS代码） #

如果你的JS片段包含字符串中的注释符号（比如"var str = '// not a comment'"），基础正则会误删内容，此时可以用更精准的正则规避这种情况：

# 精准正则：先匹配字符串（跳过内部内容），再匹配注释
accurate_pattern = r'''
    "(?:\\.|[^"\\])*"  # 匹配双引号包裹的字符串
    | '(?:\\.|[^'\\])*'  # 匹配单引号包裹的字符串
    | //.*?$  # 匹配单行注释
    | /\*[\s\S]*?\*/  # 匹配多行注释
'''

def clean_js(code):
    # 拆分代码为字符串和注释片段
    parts = re.findall(accurate_pattern, code, re.MULTILINE | re.VERBOSE)
    # 只保留字符串部分，过滤掉注释
    return ''.join([p for p in parts if not p.startswith(('//', '/*'))])

# 生成清洗后的内容并过滤
df['clean_content'] = df['content'].apply(clean_js)
df_filtered = df[df['clean_content'].str.len() > 200]

3. 专业JS解析库（最高准确性） #

如果对注释移除的准确性要求极高（比如处理模板字符串、嵌套注释等极端场景），可以用JS语法解析库esprima-python，通过AST（抽象语法树）操作精准移除注释：

from esprima import parseScript, generate

def remove_js_comments(js_code):
    try:
        # 将JS代码解析为AST
        ast = parseScript(js_code)
        # 递归遍历AST，移除所有注释节点
        def traverse(node):
            if hasattr(node, 'comments'):
                del node.comments
            for attr, value in node.__dict__.items():
                if isinstance(value, list):
                    for item in value:
                        if hasattr(item, '__dict__'):
                            traverse(item)
                elif hasattr(value, '__dict__'):
                    traverse(value)
        traverse(ast)
        # 从清理后的AST重新生成无注释的JS代码
        return generate(ast)
    except:
        # 解析失败时返回原代码，避免数据丢失
        return js_code

# 用swifter加速apply（自动判断是否可矢量化，否则并行处理）
import swifter
df['clean_content'] = df['content'].swifter.apply(remove_js_comments)
df_filtered = df[df['clean_content'].str.len() > 200]

注意：这种方法准确性最高，但速度比正则慢，适合数据量不大或对准确性要求极高的场景。

性能对比总结 #

可根据你的数据规模和准确性需求选择对应方案。

内容的提问来源于stack exchange，提问作者GRoutar