Python字符串非指定字符检查及DataFrame手机号脏数据清洗

首先看你遇到的问题：你的正则表达式漏掉了空格这个允许字符，而且re.match是从字符串开头匹配整个字符串，所以第一个带乱码的字符串匹配失败，第二个包含空格的字符串也因为正则没包含空格而匹配失败了。

先修正核心的正则表达式——允许的字符是+、空格、0-9、\r、\n，所以匹配整个合法字符串的正则应该是：

pattern = r'^[+0-9 \r\n]+$'

把空格加入字符集后，符合要求的字符串就能正确匹配了。

接下来分两步实现你的需求：

1. 提取包含非允许字符的脏数据行 #

我们可以利用正则匹配的结果反向筛选脏数据：

import re

ph = ['00 9108214702Ã\x83Â\x83Ã\x82Â\x83Ã\x83Â\x82Ã\x82Â\x83Ã\x83Â\x83Ã\x82Â\x82Ã\x83Â\x82Ã\x82¢Ã\x83Â\x83Ã\x82Â\x83Ã\x83Â\x82Ã\x82Â\x82Ã\x83Â\x83Ã\x82Â\x82Ã\x83Â\x82Ã\x82Â\x80Ã\x83Â\x83Ã\x82Â\x83Ã\x83Â\x82Ã\x82Â\x82Ã\x83Â\x83Ã\x82Â\x82Ã\x83Â\x82Ã\x82¬', '080 26600704\r\n+91 9342593424']

# 筛选出不符合规则的脏数据
dirty_data = [x for x in ph if not re.match(r'^[+0-9 \r\n]+$', x)]
print(dirty_data)

运行后会输出那个带乱码的字符串，因为它包含规则外的字符。

2. 清理数据：移除所有非允许字符 #

用re.sub把所有不在允许列表里的字符替换为空字符串：

# 清理所有非允许字符
cleaned_data = [re.sub(r'[^+0-9 \r\n]', '', x) for x in ph]
print(cleaned_data)

处理后，第一个字符串的乱码会被完全移除，第二个合法字符串则保持不变。

针对大数据集的Pandas高效处理方案 #

因为你提到数据集很大，循环处理效率太低，推荐用Pandas的矢量化字符串操作批量处理：

import pandas as pd

df = pd.DataFrame({'phone': ph})

# 标记脏数据行
df['is_dirty'] = ~df['phone'].str.match(r'^[+0-9 \r\n]+$')

# 提取脏数据子集
dirty_df = df[df['is_dirty']]

# 批量清理所有非允许字符
df['cleaned_phone'] = df['phone'].str.replace(r'[^+0-9 \r\n]', '', regex=True)

Pandas的字符串方法是底层优化过的矢量化操作，比Python循环快得多，非常适合处理大规模数据集。

另外补充：如果后续需要统一手机号格式（比如去掉换行符），可以直接把\r和\n从允许字符集中移除，替换时会一并清理掉，根据你的实际需求调整即可。

内容的提问来源于stack exchange，提问作者Himanshu Poddar