咨询Scrapy导出JSON文件时法语重音字符被转义的解决方法
解决Scrapy导出JSON中非ASCII字符被转义为
\u00xx序列的问题 问题根因
你在导出文件中看到的Salam\u00e8che这类格式,不是爬虫爬取环节的编码错误,完全是Scrapy默认Feed导出规则导致的:Scrapy默认导出JSON时会强制启用ASCII转义,所有非ASCII字符(包括法语常用的带重音字符é、è、ê等)都会被替换为\u开头的Unicode转义序列。这个设计原本是为了兼容不同环境的文本编码要求,但不符合你直接读取原始可显示字符的需求。
可落地的解决方法
方法1:修改项目配置(推荐,一劳永逸)
直接在Scrapy项目的settings.py配置文件中补充两行导出规则,不需要改动现有爬虫代码:
# 关闭JSON导出时的ASCII强制转义,保留原始非ASCII字符 FEED_EXPORT_ENSURE_ASCII = False # 明确指定导出文件的编码为UTF-8,避免字符乱码 FEED_EXPORT_ENCODING = "utf-8"
配置完成后,重新运行原有的爬虫导出命令:scrapy crawl pokespider -o pokemon_ev.json
生成的JSON文件中,原本的Salam\u00e8che会直接显示为可正常阅读的Salamèche。
方法2:自定义导出逻辑适配
如果你不想使用Scrapy自带的自动Feed导出,而是需要在代码中手动序列化导出JSON,只需要在调用Python标准库json模块时,同样关闭ASCII转义即可:
import json # 收集完爬取的所有数据后,按如下逻辑导出 result_data = [{"numero": 1, "nom": "Bulbizarre"}, ...] with open("output.json", "w", encoding="utf-8") as f: # 设置ensure_ascii=False即可输出原始字符,而非Unicode转义序列 json.dump( result_data, f, ensure_ascii=False, indent=2, allow_nan=True )
如果使用的Scrapy版本低于2.0,没有内置FEED_EXPORT_ENSURE_ASCII配置项,可以自定义简单的导出Pipeline,手动传入ensure_ascii=False参数替换默认导出逻辑,实现相同的显示效果。
常见排查注意点
如果配置完成后打开导出的JSON文件还是显示乱码,不属于导出环节的错误,是本地文本编辑器的编码识别不匹配导致的:
- 将编辑器的打开编码手动切换为UTF-8,即可正常显示所有带重音的法语字符
- 避免使用默认GBK编码的老旧文本编辑器直接打开UTF-8格式的JSON文件,否则会出现乱码
内容的提问来源于stack exchange,提问作者Ziache
相关产品推荐
相关产品推荐

