You need to enable JavaScript to run this app. 咨询Scrapy导出JSON文件时法语重音字符被转义的解决方法
优惠活动
大模型
产品
解决方案
定价
更多

咨询Scrapy导出JSON文件时法语重音字符被转义的解决方法

解决Scrapy导出JSON中非ASCII字符被转义为\u00xx序列的问题

问题根因

你在导出文件中看到的Salam\u00e8che这类格式,不是爬虫爬取环节的编码错误,完全是Scrapy默认Feed导出规则导致的:Scrapy默认导出JSON时会强制启用ASCII转义,所有非ASCII字符(包括法语常用的带重音字符é、è、ê等)都会被替换为\u开头的Unicode转义序列。这个设计原本是为了兼容不同环境的文本编码要求,但不符合你直接读取原始可显示字符的需求。

可落地的解决方法

方法1:修改项目配置(推荐,一劳永逸)

直接在Scrapy项目的settings.py配置文件中补充两行导出规则,不需要改动现有爬虫代码:

# 关闭JSON导出时的ASCII强制转义,保留原始非ASCII字符
FEED_EXPORT_ENSURE_ASCII = False
# 明确指定导出文件的编码为UTF-8,避免字符乱码
FEED_EXPORT_ENCODING = "utf-8"

配置完成后,重新运行原有的爬虫导出命令:
scrapy crawl pokespider -o pokemon_ev.json
生成的JSON文件中,原本的Salam\u00e8che会直接显示为可正常阅读的Salamèche。

方法2:自定义导出逻辑适配

如果你不想使用Scrapy自带的自动Feed导出,而是需要在代码中手动序列化导出JSON,只需要在调用Python标准库json模块时,同样关闭ASCII转义即可:

import json

# 收集完爬取的所有数据后,按如下逻辑导出
result_data = [{"numero": 1, "nom": "Bulbizarre"}, ...]
with open("output.json", "w", encoding="utf-8") as f:
    # 设置ensure_ascii=False即可输出原始字符,而非Unicode转义序列
    json.dump(
        result_data,
        f,
        ensure_ascii=False,
        indent=2,
        allow_nan=True
    )

如果使用的Scrapy版本低于2.0,没有内置FEED_EXPORT_ENSURE_ASCII配置项,可以自定义简单的导出Pipeline,手动传入ensure_ascii=False参数替换默认导出逻辑,实现相同的显示效果。

常见排查注意点

如果配置完成后打开导出的JSON文件还是显示乱码,不属于导出环节的错误,是本地文本编辑器的编码识别不匹配导致的:

  • 将编辑器的打开编码手动切换为UTF-8,即可正常显示所有带重音的法语字符
  • 避免使用默认GBK编码的老旧文本编辑器直接打开UTF-8格式的JSON文件,否则会出现乱码

内容的提问来源于stack exchange,提问作者Ziache

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 15:36:08