You need to enable JavaScript to run this app. 如何用Pandas将爬取的零散金融数据转换为时间序列DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

如何用Pandas将爬取的零散金融数据转换为时间序列DataFrame

实现方案

直接改造原有的解析逻辑,跳过打印环节、结构化存储解析到的表格内容,再按列对齐生成目标DataFrame,具体操作如下:

代码改造步骤

1. 替换原打印函数,结构化存数

原print_table仅做控制台输出,没有留存解析内容,需要改造为逐行存储有效表格数据,不再直接打印:

import pandas as pd

# 全局变量存储解析到的所有表格行
all_parsed_rows = []

def parse_table(soup):
    for tr in soup.select('tr'):
        # 提取单元格文本,顺手去掉首尾空白符
        row_data = [td.text.strip() for td in tr.select('th, td') if td.text.strip()]
        if not row_data:
            continue
        # 保留原有的列对齐逻辑,长度不足12的行补列头占位
        if len(row_data) < 12:
            row_data = ['X'] + row_data
        all_parsed_rows.append(row_data)

# 对soup1执行解析
parse_table(soup1)

2. 拆分时间序列和目标营收数据

从存储的行数据里分离出时间节点、营收列名和对应数值,同时完成TTM的映射替换:

# 第一行就是时间节点行:第一个元素是列头'X',后面是从2010-12到TTM的时间列表
time_list = all_parsed_rows[0][1:]
# 按要求把TTM替换为2020-12
time_list = [item.replace('TTM', '2020-12') for item in time_list]

# 第二行就是营收指标行:第一个元素是列头'Revenue IDR Mil',后面是对应营收值
revenue_column_name = all_parsed_rows[1][0]
revenue_value_list = all_parsed_rows[1][1:]

3. 生成目标结构的DataFrame

按要求的列结构组装数据:

data = pd.DataFrame({
    'X': time_list,
    revenue_column_name: revenue_value_list
})

补充说明

  • 直接从BeautifulSoup解析的DOM树里取数,比从控制台打印的文本里做正则提取稳定得多,不会受打印格式的空白符、对齐字符影响
  • 如果后续需要提取更多财务指标,只要遍历all_parsed_rows里除时间行之外的所有行,按相同逻辑把对应值挂到DataFrame上即可,不需要重复写解析逻辑
  • 所有提取的文本建议加strip()处理,避免残留的换行、空格影响后续数据计算

内容的提问来源于stack exchange,提问作者Dwijaya Maleh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 00:06:01