You need to enable JavaScript to run this app. 如何使用Scrapy爬取动态表头网页表格并导出结构化CSV
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Scrapy爬取动态表头网页表格并导出结构化CSV

问题根因
  • 现有输出偏差的来源:你把提取到的所有表头文本统一存入h1header单固定字段,Scrapy默认CSV导出逻辑会逐行写入每个Item的字段值,最终会把整个表头列表全部输出到h1header对应的单列下,无法实现表头作为CSV列名的效果。
  • 预期实现逻辑:每个格式相同的tbody.h1块对应一条独立的项目数据,块内的标签文本动态生成CSV列名,和对应的值一一绑定为键值对,作为单行数据写入CSV。
实现步骤
  • 调整数据组装逻辑
    • 取消硬编码的h1header固定字段,基于每个表格块的内容动态生成Item的键值对,不要提前定义固定字段名。
    • 提取标签文本时做清洗:移除文本结尾的冒号、首尾多余空格,得到干净的列名。
  • 匹配块内的键值对
    • 遍历每个tbody.h1块下所有class="label"的td元素,取其文本作为列键,取紧随其后的相邻td的文本作为对应列的值,直接组装成字典对象。
  • 适配CSV导出规则
    • 由于字段是动态生成的,Scrapy内置的CSV导出逻辑会自动收集所有爬取到的唯一列名作为CSV首行的列头,后续出现的新列名会自动追加到列名列表中,不需要提前预定义。后续需要追加tbody.detail对应的新列时,只需要把对应块内的键值对合并到同一个行字典里即可,无需修改原有字段定义。
核心代码参考
import scrapy

class ReportSpider(scrapy.Spider):
    name = "report_crawler"
    custom_settings = {
        "FEED_FORMAT": "csv",
        "FEED_URI": "project_data.csv",
        "FEED_EXPORT_ENCODING": "utf-8-sig", # 兼容Excel打开时的中文乱码问题
    }

    def parse(self, response):
        # 逐个遍历h1类的表格块
        for h1_block in response.css("tbody.h1"):
            row_item = {}
            # 遍历块内所有标签单元格
            for label_cell in h1_block.css("td.label"):
                # 清洗列名,去掉结尾冒号和多余空格
                col_name = label_cell.xpath("./text()").get().strip().rstrip(":").strip()
                # 提取对应值,过滤单元格内嵌套的标签内容
                col_value = label_cell.xpath("./following-sibling::td[1]/text()").get(default="").strip()
                row_item[col_name] = col_value
            # 后续爬取detail表追加列时,直接把对应的键值对继续合并到row_item字典即可
            yield row_item
错误输出的纠正说明

之前的错误操作是将所有表头文本收集为一个列表,赋值给h1header这个固定键,相当于每个Item仅包含单字段h1header,值为整串表头内容,导出时自然会逐行将该值写入对应列。只要调整为将每个表头与其对应的值绑定为独立的键值对,导出器会自动将所有键识别为CSV列头。不需要手动维护数组拼接导出,Scrapy内置的Item处理逻辑可以直接适配动态字典结构,和你之前手动构建数组导出CSV的逻辑完全等价,但实现效率更高。

内容的提问来源于stack exchange,提问作者Turn10

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 22:36:03