如何在Python中正常查看指定GitHub项目代码并去除多余字符

核心原因说明 #

多余字符问题大多来自三类情况：

• 文件编码不匹配，最常见的是UTF-8带BOM头的文件用普通UTF-8读取时，开头会出现\ufeff类多余字符
• 文件中混入了不可见的ASCII控制字符，多为跨操作系统编辑存储导致
• 读取的是代码预览网页的内容，混入了HTML相关标签字符

具体解决方法 #

方法1：读取时指定兼容编码 #

读取文件时指定utf-8-sig编码，会自动识别并去除UTF-8文件开头的BOM头，搭配错误忽略参数避免读取中断：

with open("目标代码文件路径", "r", encoding="utf-8-sig", errors="ignore") as f:
    code_content = f.read()

# 导出清洗后的正常代码
with open("clean_code.py", "w", encoding="utf-8") as f:
    f.write(code_content)

方法2：正则过滤不可见控制字符 #

如果处理后仍有多余异常字符，用正则过滤掉除正常格式符之外的所有控制字符：

import re

# 保留换行、回车、制表符，过滤其他控制字符
clean_content = re.sub(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f-\xff]', '', code_content)

with open("clean_code.py", "w", encoding="utf-8") as f:
    f.write(clean_content)

方法3：避免读取预览网页内容 #

不要直接抓取代码预览页面的内容，要获取文件的原始纯文本版本，可从根源避免HTML类多余字符混入。 #

内容的提问来源于stack exchange，提问作者Srazor786