Ubuntu 16.04下如何配置Scrapy全局设置?找不到default_settings模块怎么办?
Scrapy default_settings 模块详解
别担心,我来帮你理清这个问题:
首先,scrapy.settings.default_settings 不是普通文本文件,它是一个Python模块(.py格式),是Scrapy框架内置的核心配置文件,所有全局默认设置都存在这里。
下面给你几种访问它的方法:
通过Python代码直接读取
打开Python交互环境或者写个小脚本,就能直接调用查看里面的配置:import scrapy.settings.default_settings as default_settings # 查看单个默认配置,比如默认的User-Agent print(default_settings.USER_AGENT) # 遍历打印所有非私有默认配置 for setting_key, setting_value in default_settings.__dict__.items(): if not setting_key.startswith('_'): print(f"{setting_key}: {setting_value}")找到本地文件路径直接打开
如果你想直接看源码文件,用inspect模块就能拿到它的绝对路径:import inspect import scrapy.settings.default_settings # 打印文件所在路径 print(inspect.getfile(scrapy.settings.default_settings))复制输出的路径,用你常用的文本编辑器打开就能看到完整的默认设置代码了。
查看Scrapy源码仓库(可选)
如果你本地环境不好找,Scrapy的官方源码仓库里这个文件位于scrapy/settings/default_settings.py路径下,你可以直接浏览源码来查看内容。
另外补充一句:你自己Scrapy项目里的settings.py就是用来覆盖这些默认配置的,框架启动时会先加载默认设置,再加载你项目里的自定义设置。
内容的提问来源于stack exchange,提问作者Nitin Gandhi
相关产品推荐
相关产品推荐

