You need to enable JavaScript to run this app. 如何将Python网页爬虫的响应结果格式化为CSV格式的结构化表格
优惠活动
大模型
产品
解决方案
定价
更多

如何将Python网页爬虫的响应结果格式化为CSV格式的结构化表格

响应解析与CSV导出实现

前置准备

  • 安装额外依赖:执行pip install pandas lxml,用于结构化表格读取和CSV导出

核心实现逻辑(接在原有请求代码之后)

  1. 解析响应内容
    该接口是Oracle APEX的标准POST提交接口,返回内容为嵌入动态页面片段的执行脚本,直接用BeautifulSoup定位内嵌表格元素即可:
    from bs4 import BeautifulSoup
    import pandas as pd
    
    soup = BeautifulSoup(response.text, "lxml")
    # 定位页面中所有表格元素
    data_tables = soup.find_all("table")
    
    # 有效性校验
    if not data_tables:
        raise RuntimeError("响应中未找到表格,请检查cookie、请求参数是否过期")
    
  2. 结构化转换
    调用pandas内置的read_html方法,直接将定位到的表格转为DataFrame,该方法已内置合并单元格兼容、异常行过滤逻辑,无需手动逐行提取单元格文本,从根源上避免列错位问题:
    # 读取第一个匹配到的业务数据表格(搜索结果页通常仅返回1个核心数据表)
    df = pd.read_html(str(data_tables[0]))[0]
    
    # 基础清洗:去除全空行、给表头清理多余空格
    df = df.dropna(how="all")
    df.columns = [str(col).strip() for col in df.columns]
    
  3. CSV导出
    使用utf-8-sig编码写入文件,保证葡萄牙语内容在Excel打开时不会乱码,同时不将DataFrame自带的行索引写入CSV文件:
    df.to_csv("tesouro_auction_data.csv", index=False, encoding="utf-8-sig")
    

注意事项

  • 代码中的cookie、p_instance、salt校验值、请求参数内的ck字段均为短时效凭证,若运行后未抓取到表格内容,可刷新目标网站页面,重新复制最新的cookie和请求参数替换原有内容
  • 导出前可执行print(df.head())确认列对齐效果,部分政务网站表格存在多层嵌套表头,可根据实际显示修正列名后再导出
  • 若接口返回多个表格元素,可逐个打印data_tables[i].get_text()确认哪个是业务数据表格,避免误抓页面侧边栏的导航表格

内容的提问来源于stack exchange,提问作者Felipe

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 02:45:03