Scrapy爬取时无法获取div的style属性，如何筛选display:block的div？

当然可以！我之前也碰到过类似的情况——有时候Scrapy自带的Selector会因为HTML结构不规范或者动态渲染的问题，没法直接抓取到某些属性，这时候结合BeautifulSoup来解析原始HTML就是个非常靠谱的解决办法。下面是具体的实现步骤：

1. 获取Scrapy的原始响应内容并初始化BeautifulSoup #

在你的Spider中，response.body就是页面的原始HTML字节流，我们可以把它解码成字符串后传给BeautifulSoup进行解析：

from bs4 import BeautifulSoup
import scrapy

class TargetSpider(scrapy.Spider):
    name = 'target_spider'
    start_urls = ['你的目标页面URL']

    def parse(self, response):
        # 将原始响应字节流解码为字符串（根据页面实际编码调整）
        raw_html = response.body.decode('utf-8')
        # 初始化BeautifulSoup，使用html.parser解析器（也可以用lxml）
        soup = BeautifulSoup(raw_html, 'html.parser')

2. 筛选出display:block的div元素并提取数据 #

接下来我们遍历所有div标签，检查它们的style属性是否包含display:block，如果符合条件就提取你需要的数据：

# 遍历页面中所有div标签
        for div in soup.find_all('div'):
            # 获取当前div的style属性值
            style_attr = div.get('style')
            # 检查style属性存在且包含display:block（注意大小写，有些页面可能是Display:block）
            if style_attr and 'display:block' in style_attr.lower():
                # 这里根据你的需求提取数据，比如文本内容、子元素等
                item_data = div.get_text(strip=True)
                # 将数据yield出去
                yield {'target_data': item_data}

补充：为什么Scrapy的XPath无法获取style属性？ #

你遇到的response.xpath("//div").xpath("@style").extract()返回空列表的情况，大概率是以下原因之一：

• 页面动态渲染：style属性是通过JavaScript动态添加到div标签上的，Scrapy默认抓取的是服务器返回的初始HTML，并没有执行JS，所以看不到这些动态生成的属性。这种情况下你可能需要配合Scrapy-Splash或Playwright等工具来渲染页面后再抓取。
• HTML结构不规范：目标页面的HTML写法不标准（比如属性引号缺失、标签未闭合等），导致Scrapy的Selector解析出错，而BeautifulSoup对不规范HTML的容错性更强，能更好地处理这类情况。

内容的提问来源于stack exchange，提问作者rajinder