Difflib对比无变化HTML标签时报非字符串类型错误求解
问题排查与解决
错误根因
difflib.Differ.compare()要求输入参数为字符串序列,但你直接传入了BeautifulSoup.find_all()返回的Tag对象列表:- 当标签内容存在差异时,difflib内部会自动将Tag对象转为字符串并拼接
+/-前缀,返回值为字符串类型,调用startswith不会报错 - 当两个页面对应标签内容完全一致时,difflib返回的对比结果会直接保留原Tag对象类型,调用
startswith方法时就会触发「仅支持处理字符串类型数据」的报错
- 当标签内容存在差异时,difflib内部会自动将Tag对象转为字符串并拼接
修复方案
修改遍历标签时的逻辑,先将find_all返回的每个Tag对象转为字符串,再传入对比方法即可,修改后的代码段如下:
d = difflib.Differ() diff = [] for tag in tag_library: # 先把Tag对象统一转为字符串,再传入compare方法 list1 = [str(tag_obj) for tag_obj in soup1.find_all(tag)] list2 = [str(tag_obj) for tag_obj in soup2.find_all(tag)] difflist = d.compare(list1, list2) changes = [change for change in difflist if change.startswith('-') or change.startswith('+')] diff.append(changes) print(diff)
补充优化建议
- 可以新增空列表判断,如果对应标签在两个页面都不存在,直接跳过对比减少无效计算
- 对比大页面时可以增量输出结果,避免内存占用过高
内容的提问来源于stack exchange,提问作者jonsurfs
相关产品推荐
相关产品推荐

