如何移除数据集中的�特殊字符？该字符在MS-Excel中不显示

这类�字符一般是无法识别的Unicode字符、不可打印控制字符或特殊空格（如全角空格、非断空格），以下是几种实用的处理方法：

Excel内置处理方法 #

• 复制替换法：直接选中单元格中的�字符并复制，按下Ctrl+H打开查找替换对话框，将复制的字符粘贴到「查找内容」框，「替换为」框留空，点击「全部替换」即可批量移除。
• 函数定位替换：若无法直接复制字符，先在目标单元格旁输入=CODE(MID(A1,N,1))（将A1替换为目标单元格，N替换为特殊字符在单元格中的位置），得到字符的ASCII编码后，用=SUBSTITUTE(A1,CHAR(编码),"")批量替换。
• 清除非打印字符：使用=CLEAN(A1)移除大部分非打印ASCII字符，若包含特殊空格，可结合TRIM或指定编码替换，比如=SUBSTITUTE(A1,CHAR(160),"")（160是非断空格的编码）。

Python处理方法 #

如果用代码处理数据集，可通过以下方式移除特殊字符：

• 忽略无法识别的字符：

  cleaned_str = original_str.encode('utf-8', errors='ignore').decode('utf-8')
  

• 正则移除非ASCII字符：

  import re
  cleaned_str = re.sub(r'[^\x00-\x7F]+', '', original_str)
  

• 针对性替换特殊空格：

  # 替换非断空格、零宽空格等特殊空格
  cleaned_str = original_str.replace('\u00A0', '').replace('\u200B', '')
  

Power Query处理方法 #

• 将数据集导入Power Query编辑器，选中需要处理的列；
• 点击「转换」选项卡，选择「替换值」，复制特殊字符到「查找内容」框，「替换为」留空后执行替换；
• 也可使用「格式化」菜单中的「清除」→「清除非打印字符」批量处理。

内容的提问来源于stack exchange，提问作者Ed_Gravy