使用Pandas read_html抓取CEPEA数据转换DataFrame的列匹配异常问题
CEPEA乙醇价格表格抓取的结构错位问题排查与修正
核心问题诱因
- 对
pd.read_html的返回结构认知偏差:该函数返回的是网页内所有符合匹配规则的表格组成的DataFrame列表,而非扁平的逐行业务记录集合。你存的esalq_dia是一个列表,其中每个元素是一个独立的表格DataFrame,并非可以直接喂给from_records的行序列。 - 自定义列名与实际抓取的表结构完全脱节:你实际拿到的目标表格共4列,内容分别为交易日期、R$/m³价格、日度涨跌幅、月度涨跌幅,和你定义的
cols = ['Unnamed: 0', 'R$/litro', 'US$/litro', 'Var./semana']既存在内容错位(页面原始表不存在US$/litro、Var./semana列),也没有做结构适配。 - 接口使用逻辑错误:
pd.DataFrame.from_records要求输入为“每行一条业务记录”的二维可迭代结构,你直接把“装了多个DataFrame的列表”作为输入传入时,接口会把列表内的每个DataFrame当作单条记录处理,自然无法匹配你定义的4个列名,最终生成无实际内容的空表,甚至出现原网页列名错位填充的问题。
分步修正操作
- 第一步:从返回的列表中提取目标表格。
pd.read_html返回的列表里,CEPEA页面的日度乙醇价格表是索引为0的元素,直接取出即可得到带原始业务数据的DataFrame,不需要从头重建。 - 第二步:匹配实际表结构修改列名,按需做衍生计算。因为原始表的价格单位是R$/m³,要得到每升计价只需要对价格列做单位换算,不需要硬套不存在的列:
# 读取页面表格 esalq_dia = pd.read_html('CEPEA日度乙醇价格页面地址') # 提取目标表格 raw_price_df = esalq_dia[0] # 按实际列数重命名,和原始表4列完全对应 raw_price_df.columns = ['trade_date', 'price_brl_per_m3', 'daily_change_pct', 'monthly_change_pct'] # 衍生计算每升雷亚尔价格 raw_price_df['price_brl_per_liter'] = raw_price_df['price_brl_per_m3'] / 1000 # 清洗涨跌幅格式:替换葡语逗号小数分隔符、去掉百分号,转成可计算的浮点数 raw_price_df['daily_change_pct'] = raw_price_df['daily_change_pct'].str.replace(',', '.').str.rstrip('%').astype(float) / 100 raw_price_df['monthly_change_pct'] = raw_price_df['monthly_change_pct'].str.replace(',', '.').str.rstrip('%').astype(float) / 100 - 第三步:放弃
pd.DataFrame.from_records的重建逻辑。只要从read_html中取出的目标DataFrame本身带完整业务数据,直接在其上做列名修改、类型转换、字段衍生即可,不需要将整个返回列表传入接口重建,从根源避免结构错位。
内容的提问来源于stack exchange,提问作者Tanai Goncalves
相关产品推荐
相关产品推荐

