如何过滤Excel单元格中的异常元数据类字符？

问题成因 #

从PDF复制到Excel的内容会附带不可见控制字符/零宽元数据字符，这类字符在Excel单元格中不会显示，print输出时也不会直观呈现，但实际存在于字符串中。RIPE NCC DB的校验逻辑能识别这些非法字符，导致报错；复制到Notepad++时，这类字符可能被解析为可见的异常内容（比如你遇到的'PDF'字符串）。

你之前的过滤代码仅处理了可见的允许字符，但这类不可见字符不在allowed_chars集合内，却因print无法显示，导致你误以为过滤前后内容一致，实际上非法字符仍存在于字符串中。

有效处理方案 #

1. 正则精准过滤合法字符 #

直接用正则提取所有允许的字符（+、数字、空格），删除其余所有字符（包括不可见字符）：

import re

phone_number = str(self.pd_keymapping[key][0])
# 仅保留+、数字、空格，删除所有其他字符
cleaned_phone = re.sub(r'[^+\d\s]', '', phone_number)
print('清理后手机号:', cleaned_phone)
# 用repr可查看字符串真实内容，确认不可见字符是否被删除
print('真实内容:', repr(cleaned_phone))

2. 先清除控制字符再过滤 #

如果需要保留其他潜在合法可见字符，可先清除所有Unicode控制字符，再过滤到允许的字符集合：

import unicodedata

phone_number = str(self.pd_keymapping[key][0])
# 移除所有Unicode控制字符（保留空格）
cleaned_phone = ''.join(
    c for c in phone_number 
    if not unicodedata.category(c).startswith('C') or c == ' '
)
# 再过滤到允许的字符范围内
allowed_chars = '+0123456789 '
cleaned_phone = ''.join(c for c in cleaned_phone if c in allowed_chars)
print('清理后手机号:', cleaned_phone)

3. 读取Excel时批量处理 #

在pandas读取Excel阶段就指定列的清理函数，避免后续重复处理：

import pandas as pd
import re

def clean_phone_column(value):
    if pd.isna(value):
        return ''
    return re.sub(r'[^+\d\s]', '', str(value))

# 假设手机号列名为"phone"，读取时直接清理
df = pd.read_excel('客户数据.xlsx', converters={'phone': clean_phone_column})

内容的提问来源于stack exchange，提问作者Beeelze