基于requests与BeautifulSoup的爬虫,为何抓取同结构网站段落间距输出不一致
根因:DOM结构和
.text方法的行为不匹配 很多人写爬虫都会误以为.text会按照网页视觉排版提取文本,实际上这个方法完全只认HTML源码里的文本节点,和CSS渲染出来的视觉效果没有任何关联。
.text的真实工作机制
当你对一个标签调用.text属性时,BeautifulSoup会执行以下逻辑:
- 递归遍历这个标签下所有层级的HTML节点
- 把遍历过程中遇到的所有文本片段,按照源码里出现的顺序直接拼接
- 相邻两个文本片段之间,不会自动添加任何分隔符
最终拼出来的字符串长什么样,100%由HTML源码决定:源码里文本之间夹了换行、空行,结果里就有间隔;源码里文本之间只有开闭标签,没有独立的换行文本,结果就是连在一起的长串。
两个站点的源码差异点
你看到两个页面视觉布局差不多,只是表象,源码里的文本节点排布完全是两回事:
- 布鲁金斯学会的正文容器
div.post-body里,每个段落、作者署名、专栏块都是独立的块级标签,写代码的人在HTML源码里特意在这些标签前后留了换行、空行。这些换行、空行本身就是独立的文本节点,会被BeautifulSoup一起拼到最终结果里,自然就保留了段落间距。 - 纽约时报的正文容器
section.meteredContent里,段落之间的视觉间隔全是靠CSS的margin、padding实现的。写代码的人在HTML源码里把所有<p>标签紧挨着写,标签之间连个换行都不留——比如源码长这样:<p>第一段落文字</p><p>第二段落文字</p><p>第三段落文字</p>,这种结构下无参数的.text拼出来就是连续无间隔的长文本,完全没有段落区分。
统一格式的修正方法
根本不需要针对不同站点改选择器、单独找段落标签,只要换个提取文本的方式,给方法指定固定的段落分隔符就行,不管源站源码怎么写,输出格式都能统一:
# 替换原来的 bs.find(...).text 调用 body = bs.find('section', {'name': 'articleBody', 'class': 'meteredContent'}).get_text( separator='\n\n', # 每个独立文本块之间插入两个换行,模拟空行分隔段落 strip=True # 清理每个文本块前后多余的空白字符 )
这个写法会遍历所有子节点,每遇到一个独立的文本块就插入你指定的分隔符,不会再因为源码里有没有换行就出现格式差异。
内容的提问来源于stack exchange,提问作者gunardilin
相关产品推荐
相关产品推荐

