Google Search Console导出URL与界面显示不一致问题求助

问题核心 #

GSC界面显示的是带+（空格的表单编码）和%BF（ISO-8859-1字节编码）的URL，但导出文件中这些字符被转成了普通空格和UTF-8替代字符�，导致编码后的URL返回404，无法匹配原始返回503错误的URL。

针对性修复方案 #

1. 空格转+的处理

GSC界面的+是application/x-www-form-urlencoded格式下对空格的编码，导出的普通空格直接替换为+即可：

# 示例：处理空格转+
exported_url = "https://example.com/error "
fixed_url = exported_url.replace(" ", "+")
# 输出：https://example.com/error+

2. 乱码�还原为%BF的处理

导出的�是UTF-8的替代字符（U+FFFD），对应原始URL中的%BF（ISO-8859-1编码的0xBF字节），需要将该字符还原为对应的URL编码：

# 示例：处理乱码�转%BF
exported_url = "http://example.com/481872.ece�"
# 将替代字符按ISO-8859-1编码为字节，再转为URL格式的十六进制编码
fixed_part = '�'.encode('iso-8859-1').hex().upper()
fixed_url = exported_url.replace('�', f"%{fixed_part}")
# 输出：http://example.com/481872.ece%BF

通用修复函数

合并两种场景的通用处理函数：

def fix_gsc_url(exported_url):
    # 替换空格为+
    url = exported_url.replace(" ", "+")
    # 替换UTF-8替代字符为原始ISO-8859-1字节的URL编码
    if '�' in url:
        byte_hex = '�'.encode('iso-8859-1').hex().upper()
        url = url.replace('�', f"%{byte_hex}")
    return url

# 测试用例
print(fix_gsc_url("https://example.com/error "))
# 输出：https://example.com/error+
print(fix_gsc_url("http://example.com/481872.ece�"))
# 输出：http://example.com/481872.ece%BF

原因说明 #

• GSC界面展示的是谷歌爬虫请求时的原始URL编码：+对应表单编码的空格，%BF对应ISO-8859-1编码的单个字节。
• 导出文件时，GSC会对URL进行解码后按UTF-8编码保存，导致：
  • 表单编码的+被解码为普通空格；
  • 无法被UTF-8识别的ISO-8859-1字节（0xBF）被替换为UTF-8的通用替代字符�。
• 逆向还原编码即可得到与GSC界面完全一致的URL。

内容的提问来源于stack exchange，提问作者user1015149