进行web-scraping(网页抓取)时如何去除抓取内容中的空白空格?
网页爬虫空白字符去除解决方案
以下是针对Python爬虫场景的常用处理方案,你可以根据自己的需求选择:
- 仅删除第6行文本首尾的空格:使用字符串内置的
strip()方法即可,仅需删除开头空格用lstrip(),仅需删除结尾空格用rstrip()
参考代码:# 假设line_6为你提取到的第6行文本内容 line_6 = line_6.strip() - 需要删除第6行所有位置的普通空格:使用
replace()方法全局替换
参考代码:line_6 = line_6.replace(" ", "") - 要处理特殊空白字符(如全角空格、制表符、不间断空格、换行符等):用正则表达式全局匹配替换
参考代码:import re # 直接删除所有空白字符 line_6 = re.sub(r'\s+', '', line_6) # 若需将连续多个空白替换为单个空格,改用以下写法 # line_6 = re.sub(r'\s+', ' ', line_6).strip() - 在XPath提取阶段直接处理:使用
normalize-space()函数,提取时自动去除首尾空格、合并中间连续空格为单个
参考XPath写法:normalize-space(//目标元素路径/p[6]/text())
若处理后仍有残留空白,可先打印对应字符的ASCII/Unicode编码确认字符类型,针对性写规则替换即可。
内容的提问来源于stack exchange,提问作者julio aguilera
相关产品推荐
相关产品推荐

