You need to enable JavaScript to run this app. 多次调用BeautifulSoup爬取函数后转DataFrame如何让列表对应独立列
优惠活动
大模型
产品
解决方案
定价
更多

多次调用BeautifulSoup爬取函数后转DataFrame如何让列表对应独立列

行列匹配的调整方案

当前代码收集的嵌套列表,每一个内层子列表对应单页爬取得到的单列积分数据。pandas默认会把嵌套列表的每个内层元素识别为一行,只需要调整DataFrame的构造逻辑,就能实现每个子列表对应独立列的预期效果。

快速修复方案

不需要改动原有爬取、数据收集的逻辑,只需要在生成DataFrame后对结果做转置操作。因为不同页面爬取到的列表长度不一致,转置后短序列的空缺位置会自动填充缺失值,完全兼容当前遇到的空字符串、列表长度不齐的场景。
将原来的DataFrame构造代码替换为:

df = pd.DataFrame(total_points).T

生成的结构会自动匹配「每个子列表为一列、列表内元素为对应行值」的预期格式。

长期优化方案

通过字典结构存储爬取到的子列表,构造DataFrame时直接将字典的每个键值对映射为一列,不需要后续转置操作,还可以自动将传入的团队tag作为列名,比默认的数字列名可读性强很多,更适配多页面批量爬取的后续处理需求。
调整步骤:

  • 将原来的总列表初始化替换为字典结构:
    # 替换原来的 total_points = []
    total_points = {}
    
  • 函数内部收集到积分列表后,以传入的团队tag为键存入字典,替换原来的追加逻辑:
    total_points[tag] = points
    
  • 所有页面爬取完成后,直接将字典传入pandas构造DataFrame即可:
    df = pd.DataFrame(total_points)
    

内容的提问来源于stack exchange,提问作者Niels O

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 01:15:07