调用Wikipedia API获取的摘要存在异常编码问题求助

看起来你遇到的是Wikipedia API返回内容里的非标准空白字符和编码解析问题，我来一步步帮你解决：

一、先从API请求端确保编码正确性 #

Wikipedia API默认支持UTF-8，但建议在GET请求里显式添加utf8=1参数，强制返回标准UTF-8编码的响应，避免编码转换时的隐性问题。比如中文词条的请求示例：

https://zh.wikipedia.org/w/api.php?action=query&titles=挪威&prop=extracts&exintro&explaintext&utf8=1&format=json

二、处理非-breaking空格（NBSP） #

你示例里那些奇怪的空白字符，大概率是Unicode的非-breaking空格（U+00A0）——这类字符看起来像普通空格，但属于特殊格式字符，容易被误判为编码异常。只需要在获取响应后替换成普通空格即可：

Python示例代码：

import requests

# 构造带utf8参数的请求
url = "https://zh.wikipedia.org/w/api.php?action=query&titles=挪威&prop=extracts&exintro&explaintext&utf8=1&format=json"
response = requests.get(url)
# 显式指定UTF-8编码解析响应
response.encoding = 'utf-8'
raw_content = response.text

# 替换非-breaking空格为普通空格
clean_content = raw_content.replace('\u00A0', ' ')
print(clean_content)

JavaScript示例代码：

fetch('https://zh.wikipedia.org/w/api.php?action=query&titles=挪威&prop=extracts&exintro&explaintext&utf8=1&format=json')
  .then(response => response.text())
  .then(rawText => {
    // 全局替换非-breaking空格
    const cleanText = rawText.replace(/\u00A0/g, ' ');
    console.log(cleanText);
  });

三、确保客户端正确解析UTF-8 #

不管用什么开发语言，一定要显式指定用UTF-8解析响应内容——很多HTTP客户端默认会根据系统编码自动判断，这会导致å、ø这类北欧特殊字符显示乱码。比如：

• Java：new String(response.getBytes(), StandardCharsets.UTF_8)
• PHP：mb_convert_encoding($content, 'UTF-8', 'auto')

四、排查编码异常的小技巧 #

如果替换后还是有乱码，可以先打印响应的原始编码信息（比如Python里用response.apparent_encoding），确认是否是UTF-8；如果不是，再手动指定对应编码进行转换。

补充：Wikipedia内容里经常会包含这类特殊格式字符，它们不属于编码错误，只是用于排版的特殊Unicode字符，针对性替换就能解决显示问题。

内容的提问来源于stack exchange，提问作者Herman Neple