Python控制台显示异常字符但Windows文件名正常的问题咨询

这是Python 2.7在Windows环境下处理文件名时的典型编码兼容问题，我来一步步拆解原因和解决方案：

问题核心原因 #

1. Python 2的字符串模型局限：Python 2默认区分str（字节串）和unicode（Unicode字符串）两种类型。os.listdir('.')返回的是字节串，而Windows NTFS文件系统用UTF-16LE存储文件名。你的Python环境默认用系统代码页（大概率是cp1252/Latin-1扩展）去解码这些UTF-16字节，导致原本的合法Unicode控制字符（你在资源管理器看到的‎是U+200E左到右标记，属于不可见格式控制符）被错误解码成了ord=253的Latin-1字符（对应ý），控制台无法识别这个字符，就显示成了�。

2. 并非Windows无法识别该字符：Windows本身能直接读取UTF-16格式的文件名，所以资源管理器里显示正常，问题出在Python 2的编码转换环节，而非字符本身不合法。

保留该字符的风险 #

• 仅在Windows本地使用（比如双击打开、资源管理器操作）时，基本不会有问题，Windows能正常识别它。
• 但如果后续还要用Python 2或其他依赖系统默认编码的工具处理这个文件，会持续出现乱码，甚至可能导致文件读取、复制、重命名等操作失败。
• 若未来要迁移到Python 3或跨平台使用，这类不可见控制字符很可能引发编码兼容隐患，建议清理。

修复与优化方案 #

1. 先解决Python 2的编码读取问题

改用Unicode路径调用os.listdir，直接获取Unicode格式的文件名，从根源避免编码错误：

import os
# 目录路径用Unicode字符串
crash_course_dir = u'你的目标目录路径'
os.chdir(crash_course_dir)
# 传入Unicode的当前目录，获取Unicode文件名
for filename in os.listdir(u'.'):
    if isinstance(filename, unicode):
        dot_idx = filename.index(u'.')
        new_file_name = filename[:dot_idx].strip() + u' . ' + filename[dot_idx + 1:].strip()
        print u'before:\t', filename, u'\nafter:\t', new_file_name, u'\n\n'
        os.rename(filename, new_file_name)

2. 移除异常控制字符

如果想彻底清理这类不可见字符，可以在生成新文件名时过滤掉Unicode控制字符：

import os
import unicodedata

crash_course_dir = u'你的目标目录路径'
os.chdir(crash_course_dir)

for filename in os.listdir(u'.'):
    if isinstance(filename, unicode):
        dot_idx = filename.index(u'.')
        new_file_name = filename[:dot_idx].strip() + u' . ' + filename[dot_idx + 1:].strip()
        # 过滤Unicode控制字符（C类字符）
        cleaned_name = ''.join(c for c in new_file_name if unicodedata.category(c)[0] != 'C')
        print u'before:\t', filename, u'\nafter:\t', cleaned_name, u'\n\n'
        os.rename(filename, cleaned_name)

内容的提问来源于stack exchange，提问作者CIsForCookies