如何将Python网页爬虫的响应结果格式化为CSV格式的结构化表格
响应解析与CSV导出实现
前置准备
- 安装额外依赖:执行
pip install pandas lxml,用于结构化表格读取和CSV导出
核心实现逻辑(接在原有请求代码之后)
- 解析响应内容
该接口是Oracle APEX的标准POST提交接口,返回内容为嵌入动态页面片段的执行脚本,直接用BeautifulSoup定位内嵌表格元素即可:from bs4 import BeautifulSoup import pandas as pd soup = BeautifulSoup(response.text, "lxml") # 定位页面中所有表格元素 data_tables = soup.find_all("table") # 有效性校验 if not data_tables: raise RuntimeError("响应中未找到表格,请检查cookie、请求参数是否过期") - 结构化转换
调用pandas内置的read_html方法,直接将定位到的表格转为DataFrame,该方法已内置合并单元格兼容、异常行过滤逻辑,无需手动逐行提取单元格文本,从根源上避免列错位问题:# 读取第一个匹配到的业务数据表格(搜索结果页通常仅返回1个核心数据表) df = pd.read_html(str(data_tables[0]))[0] # 基础清洗:去除全空行、给表头清理多余空格 df = df.dropna(how="all") df.columns = [str(col).strip() for col in df.columns] - CSV导出
使用utf-8-sig编码写入文件,保证葡萄牙语内容在Excel打开时不会乱码,同时不将DataFrame自带的行索引写入CSV文件:df.to_csv("tesouro_auction_data.csv", index=False, encoding="utf-8-sig")
注意事项
- 代码中的cookie、
p_instance、salt校验值、请求参数内的ck字段均为短时效凭证,若运行后未抓取到表格内容,可刷新目标网站页面,重新复制最新的cookie和请求参数替换原有内容 - 导出前可执行
print(df.head())确认列对齐效果,部分政务网站表格存在多层嵌套表头,可根据实际显示修正列名后再导出 - 若接口返回多个表格元素,可逐个打印
data_tables[i].get_text()确认哪个是业务数据表格,避免误抓页面侧边栏的导航表格
内容的提问来源于stack exchange,提问作者Felipe
相关产品推荐
相关产品推荐

