使用Beautiful Soup时如何保存HTML文件供后续离线处理

优先选择保存requests请求到的原始HTML文本到本地，这种方式操作最简单、兼容性最高，完全满足需求，不需要额外依赖，后续处理逻辑和之前在线解析的逻辑几乎没有差异。
不推荐直接保存soup对象的原因：soup是BeautifulSoup生成的内存对象，保存到本地需要用到序列化工具（如pickle），后续如果Python版本、BeautifulSoup版本发生变化，很可能出现文件无法读取的问题，灵活性远不如原始HTML文件。

运行一次下面的代码，把目标页面内容存为本地HTML文件，之后不需要再重复请求目标网站：

import requests

url = 'https://scholar.google.com/citations?user=XpmZBggAAAAJ' 
page = requests.get(url)
# 指定utf-8编码保存，避免出现乱码问题
with open('google_scholar_page.html', 'w', encoding='utf-8') as f:
    f.write(page.text)

代码中的google_scholar_page.html是自定义的本地文件名，你可以根据自己的需求修改，只要保存和读取时用的文件名保持一致即可。

之后所有的解析工作都直接读本地文件即可，和你之前解析在线页面的逻辑完全一致，不需要修改后续的处理代码：

from bs4 import BeautifulSoup

# 读取本地保存的HTML文件
with open('google_scholar_page.html', 'r', encoding='utf-8') as f:
    page_content = f.read()
# 后续解析逻辑和之前完全一样
soup = BeautifulSoup(page_content, 'lxml')

内容的提问来源于stack exchange，提问作者mdign002