如何用Pandas将爬取的零散金融数据转换为时间序列DataFrame
实现方案
直接改造原有的解析逻辑,跳过打印环节、结构化存储解析到的表格内容,再按列对齐生成目标DataFrame,具体操作如下:
代码改造步骤
1. 替换原打印函数,结构化存数
原print_table仅做控制台输出,没有留存解析内容,需要改造为逐行存储有效表格数据,不再直接打印:
import pandas as pd # 全局变量存储解析到的所有表格行 all_parsed_rows = [] def parse_table(soup): for tr in soup.select('tr'): # 提取单元格文本,顺手去掉首尾空白符 row_data = [td.text.strip() for td in tr.select('th, td') if td.text.strip()] if not row_data: continue # 保留原有的列对齐逻辑,长度不足12的行补列头占位 if len(row_data) < 12: row_data = ['X'] + row_data all_parsed_rows.append(row_data) # 对soup1执行解析 parse_table(soup1)
2. 拆分时间序列和目标营收数据
从存储的行数据里分离出时间节点、营收列名和对应数值,同时完成TTM的映射替换:
# 第一行就是时间节点行:第一个元素是列头'X',后面是从2010-12到TTM的时间列表 time_list = all_parsed_rows[0][1:] # 按要求把TTM替换为2020-12 time_list = [item.replace('TTM', '2020-12') for item in time_list] # 第二行就是营收指标行:第一个元素是列头'Revenue IDR Mil',后面是对应营收值 revenue_column_name = all_parsed_rows[1][0] revenue_value_list = all_parsed_rows[1][1:]
3. 生成目标结构的DataFrame
按要求的列结构组装数据:
data = pd.DataFrame({ 'X': time_list, revenue_column_name: revenue_value_list })
补充说明
- 直接从BeautifulSoup解析的DOM树里取数,比从控制台打印的文本里做正则提取稳定得多,不会受打印格式的空白符、对齐字符影响
- 如果后续需要提取更多财务指标,只要遍历
all_parsed_rows里除时间行之外的所有行,按相同逻辑把对应值挂到DataFrame上即可,不需要重复写解析逻辑 - 所有提取的文本建议加
strip()处理,避免残留的换行、空格影响后续数据计算
内容的提问来源于stack exchange,提问作者Dwijaya Maleh
相关产品推荐
相关产品推荐

