如何基于Azure无服务器架构运行长时间Web-Scraping脚本？

1. 拆分代码为多个独立Azure Functions #

• 成本：最经济。采用消耗计划（Consumption Plan）即可，按实际执行次数和资源使用量计费，无闲置成本。拆分后每个函数控制在消耗计划的超时限制内（最长10分钟），完全贴合按需付费模式。
• 维护：需将原脚本拆解为多步逻辑（比如爬取列表页、抓取详情、数据存储），用Azure存储队列或Service Bus做任务调度，通过Blob存储暂存中间数据。后续扩展灵活，某一步出错可单独重试，但要额外维护任务调度逻辑。
• 适配场景：脚本逻辑可拆分、无强连续执行依赖的情况。

2. 升级为Premium App Service计划的Azure Functions #

• 成本：比消耗计划高，按实例小时计费，即使仅运行1小时，也需支付至少1小时的实例费用。长期定时运行的话，成本会持续累积，灵活性不如消耗计划。
• 维护：几乎无需修改原脚本，高级计划支持最长60分钟的执行超时（刚好匹配1小时需求），沿用现有Functions的管理流程，内置日志、监控均可直接使用，维护成本极低。
• 适配场景：脚本难以拆分，希望快速解决超时问题、尽量少改代码的情况。

3. 改用Azure VM运行 #

• 成本：按需VM单次运行1小时的成本和高级计划接近，但长期定时任务用预留VM会更划算；若闲置时未关机，会产生不必要的费用。还要额外承担VM操作系统、存储、网络的成本。
• 维护：成本最高。需自行管理VM的补丁、安全、网络配置，手动编写脚本的启停逻辑（比如用Cron或任务计划），排查问题没有Functions的内置工具方便，需自行搭建监控和日志系统。
• 适配场景：脚本逻辑极度复杂无法拆分、需要完全自定义运行环境的极端情况。

方案优先级建议 #

1. 优先尝试拆分多个Functions：成本最低，长期扩展性最好，仅初期需花时间拆分逻辑。
2. 若拆分难度大，选高级计划的Functions：省心，几乎不用改代码，成本虽高但远低于VM。
3. VM仅作为最后备选：除非前两个方案完全无法满足需求，否则不推荐，维护成本太高。

内容的提问来源于stack exchange，提问作者Pramit Bhatia