Scrapy保存指定HTML元素至文件：response.css位置及拼接示例求助

嘿，作为Scrapy新手能想到针对性提取元素已经很棒啦！我来一步步帮你解决问题：

你需要在parse方法里，用CSS选择器提取目标div的HTML内容，而不是直接写入整个response.body。之前得到空白文件大概率是因为选择器写法有误，或者没正确获取到元素内容。

正确的操作步骤：

• 用response.css('.col-md-12.blog-data').get()获取第一个匹配的div元素完整HTML（如果页面有多个同类型div，就用getall()后再用'\n'.join()拼接）
• 将提取到的内容写入文件，替换原来的response.body

修改后的parse方法示例：

def parse(self, response):
    page = response.url.split("/")[-2]
    filename = 'quotes-%s.html' % page
    # 提取目标div的HTML内容
    target_div = response.css('.col-md-12.blog-data').get()
    if target_div:  # 先判断是否成功获取到元素，避免写入空内容
        with open(filename, 'w', encoding='utf-8') as f:
            f.write(target_div)
        self.log('Saved file %s' % filename)
    else:
        self.log('Failed to find the target div on %s' % response.url)

这里改用'w'模式而非'wb'，因为我们写入的是字符串格式的HTML文本，加上encoding='utf-8'还能避免乱码问题。

当然可以实现！你可以先定义一个HTML模板字符串，再把提取到的目标div内容填充进去，用Python的字符串格式化就能轻松搞定。

示例代码如下：

def parse(self, response):
    page = response.url.split("/")[-2]
    filename = 'quotes-%s.html' % page
    # 提取目标div的HTML内容
    target_div = response.css('.col-md-12.blog-data').get()
    if target_div:
        # 自定义HTML模板，用占位符{}填充目标内容
        custom_html = f"""<html>
<head></head>
<body>
<div id='mycustomelement'>
{target_div}
</div>
</body>
</html>"""
        with open(filename, 'w', encoding='utf-8') as f:
            f.write(custom_html)
        self.log('Saved custom HTML file %s' % filename)
    else:
        self.log('Failed to find the target div on %s' % response.url)

这样生成的HTML文件会包含你自定义的结构，同时将目标div的内容（包括里面的图片）嵌入到指定位置。

小提示 #

• 如果你不确定CSS选择器是否正确，可以用Scrapy Shell调试：运行scrapy shell '你的目标URL'，然后输入response.css('.col-md-12.blog-data').get()查看结果，快速验证选择器有效性。
• 注意请求的URL要加上协议头（比如http://或https://），否则Scrapy可能无法正常发起请求。

内容的提问来源于stack exchange，提问作者Ds Klur