如何使用Scrapy爬取动态表头网页表格并导出结构化CSV
问题根因
- 现有输出偏差的来源:你把提取到的所有表头文本统一存入
h1header单固定字段,Scrapy默认CSV导出逻辑会逐行写入每个Item的字段值,最终会把整个表头列表全部输出到h1header对应的单列下,无法实现表头作为CSV列名的效果。 - 预期实现逻辑:每个格式相同的
tbody.h1块对应一条独立的项目数据,块内的标签文本动态生成CSV列名,和对应的值一一绑定为键值对,作为单行数据写入CSV。
实现步骤
- 调整数据组装逻辑
- 取消硬编码的
h1header固定字段,基于每个表格块的内容动态生成Item的键值对,不要提前定义固定字段名。 - 提取标签文本时做清洗:移除文本结尾的冒号、首尾多余空格,得到干净的列名。
- 取消硬编码的
- 匹配块内的键值对
- 遍历每个
tbody.h1块下所有class="label"的td元素,取其文本作为列键,取紧随其后的相邻td的文本作为对应列的值,直接组装成字典对象。
- 遍历每个
- 适配CSV导出规则
- 由于字段是动态生成的,Scrapy内置的CSV导出逻辑会自动收集所有爬取到的唯一列名作为CSV首行的列头,后续出现的新列名会自动追加到列名列表中,不需要提前预定义。后续需要追加
tbody.detail对应的新列时,只需要把对应块内的键值对合并到同一个行字典里即可,无需修改原有字段定义。
- 由于字段是动态生成的,Scrapy内置的CSV导出逻辑会自动收集所有爬取到的唯一列名作为CSV首行的列头,后续出现的新列名会自动追加到列名列表中,不需要提前预定义。后续需要追加
核心代码参考
import scrapy class ReportSpider(scrapy.Spider): name = "report_crawler" custom_settings = { "FEED_FORMAT": "csv", "FEED_URI": "project_data.csv", "FEED_EXPORT_ENCODING": "utf-8-sig", # 兼容Excel打开时的中文乱码问题 } def parse(self, response): # 逐个遍历h1类的表格块 for h1_block in response.css("tbody.h1"): row_item = {} # 遍历块内所有标签单元格 for label_cell in h1_block.css("td.label"): # 清洗列名,去掉结尾冒号和多余空格 col_name = label_cell.xpath("./text()").get().strip().rstrip(":").strip() # 提取对应值,过滤单元格内嵌套的标签内容 col_value = label_cell.xpath("./following-sibling::td[1]/text()").get(default="").strip() row_item[col_name] = col_value # 后续爬取detail表追加列时,直接把对应的键值对继续合并到row_item字典即可 yield row_item
错误输出的纠正说明
之前的错误操作是将所有表头文本收集为一个列表,赋值给
h1header这个固定键,相当于每个Item仅包含单字段h1header,值为整串表头内容,导出时自然会逐行将该值写入对应列。只要调整为将每个表头与其对应的值绑定为独立的键值对,导出器会自动将所有键识别为CSV列头。不需要手动维护数组拼接导出,Scrapy内置的Item处理逻辑可以直接适配动态字典结构,和你之前手动构建数组导出CSV的逻辑完全等价,但实现效率更高。
内容的提问来源于stack exchange,提问作者Turn10
相关产品推荐
相关产品推荐

