如何修改现有代码从investing.com抓取历史经济事件数据

现有针对当日数据的爬取逻辑可以通过修改请求参数直接扩展到历史数据抓取，不需要模拟点击日历控件，具体实现思路如下：

• 首先通过浏览器开发者工具的网络面板，观察手动调整时间范围时页面发起的请求，可发现请求参数中包含dateFrom和dateTo两个时间字段，格式为YYYY-MM-DD，分别对应查询的起始和结束日期
• 修改原有爬取代码的请求配置，在请求参数中添加上述两个字段，传入你需要查询的历史时间范围，即可直接获取对应时间段的经济事件数据，无需改动原有页面解析逻辑
• 如果请求返回反爬拦截，可先请求一次经济日历首页，获取有效cookie以及页面隐含的csrf校验值，将这两个值加入到历史数据请求的请求头中，即可正常获取返回结果
• 若需要抓取跨度较大的历史数据，建议按周/月拆分多个小范围请求，避免单次请求返回数据量过大触发反爬规则，获取所有分段数据后再做合并处理即可

内容的提问来源于stack exchange，提问作者Stfn