如何使用Parsel解析嵌套在<a>标签内的子<a>标签？

问题描述 #

我在使用Parsel时，无法解析嵌套在父<a>标签内的子<a>标签（我知晓<a>嵌套<a>不符合HTML标准）。目前已通过BeautifulSoup + html.parser作为后端解决该问题，但想了解如何直接用Parsel处理这种场景。

复现示例 #

嵌套<a>标签时，Parsel无法获取子标签 #

from parsel import Selector

html_text = '''
<html>
    <head>
    <base href='http://example.com/' />
    <title>Example website</title>
    </head>
    <body>
    <a href="#">
        <a id="test" href='image1.html'>Name: My image 1 <br /></a>
        <a id="test" href='image2.html'>Name: My image 2 <br /></a>
        <a id="test" href='image3.html'>Name: My image 3 <br /></a>
        <a id="test" href='image4.html'>Name: My image 4 <br /></a>
        <a id="test" href='image5.html'>Name: My image 5 <br /></a>
    </a>
    </body>
    </html>
'''

selector = Selector(text=html_text)
print(selector.xpath('//a/a')) # 返回空SelectorList

子<a>标签放在<div>内时，Parsel可正常解析 #

from parsel import Selector

html_text = '''
<html>
    <head>
    <base href='http://example.com/' />
    <title>Example website</title>
    </head>
    <body>
    <div>
        <a id="test" href='image1.html'>Name: My image 1 <br /></a>
        <a id="test" href='image2.html'>Name: My image 2 <br /></a>
        <a id="test" href='image3.html'>Name: My image 3 <br /></a>
        <a id="test" href='image4.html'>Name: My image 4 <br /></a>
        <a id="test" href='image5.html'>Name: My image 5 <br /></a>
    </div>
    </body>
    </html>
'''

selector = Selector(text=html_text)
print(selector.xpath('//div/a')) # 返回非空SelectorList

解决方案 #

Parsel默认依赖lxml作为HTML解析器，lxml会自动修正不符合标准的HTML结构——遇到嵌套<a>时，会将父<a>标签提前闭合，导致子<a>不再属于父<a>的子节点，因此//a/a无法匹配到内容。

可通过以下方式处理：

• 修改HTML结构（推荐）：将父<a>替换为<div>、<span>等合法容器标签，之后就能用常规XPath语法解析。
• 用宽松解析器预处理：借助BeautifulSoup的html.parser（对非标准HTML容忍度高）先解析HTML，再转成字符串交给Parsel处理：

  from parsel import Selector
  from bs4 import BeautifulSoup
  
  html_text = '''
  <html>
      <head>
      <base href='http://example.com/' />
      <title>Example website</title>
      </head>
      <body>
      <a href="#">
          <a id="test" href='image1.html'>Name: My image 1 <br /></a>
          <a id="test" href='image2.html'>Name: My image 2 <br /></a>
          <a id="test" href='image3.html'>Name: My image 3 <br /></a>
          <a id="test" href='image4.html'>Name: My image 4 <br /></a>
          <a id="test" href='image5.html'>Name: My image 5 <br /></a>
      </a>
      </body>
      </html>
  '''
  
  soup = BeautifulSoup(html_text, 'html.parser')
  processed_html = str(soup)
  
  selector = Selector(text=processed_html)
  # 选择父<a>下的子<a>
  print(selector.xpath('//a[@href="#"]/a'))
  # 或直接选择所有目标子<a>
  print(selector.xpath('//a[@id="test"]'))
  

• 直接按子标签特征选择：如果不需要依赖父<a>的上下文，直接通过子<a>的id、href等特征定位，绕过嵌套问题：

  selector = Selector(text=html_text)
  print(selector.xpath('//a[@id="test"]'))
  

内容的提问来源于stack exchange，提问作者ifdef14