Python使用pandas DataFrame爬取雅虎财经股票数据输出全NaN怎么办
全NaN输出的核心根因
你当前实现出现全空表格,本质是三个常见实现疏漏导致的:
- 逐字段存储的独立列表和股票代码索引顺序错位:遍历采集时没有严格按固定顺序往列表追加值,一旦某一步提前中断、值位置偏移,构造DataFrame时会自动填充NaN
- 字段取值缺少校验:不管是yfinance接口返回空、网页爬取选择器匹配失败,只要拿到空值就直接存入列表,最终所有列没有有效映射
- 字段名拼写不匹配:从接口返回结构取除息日、成交量等字段时,用了和返回结构不一致的键名,取不到有效值
可直接落地的修正实现
import pandas as pd import yfinance as yf from requests.exceptions import RequestException # 目标股票代码,将作为结果表的行索引 ticker_index = ["awr", "dov", "nwn", "emr"] # 按目标列初始化存储字典,从结构上避免列表顺序错位 data_bucket = { "price": [], "change": [], "ex-dividend-date": [], "volume": [] } for ticker in ticker_index: try: # 拉取单只股票的实时行情快照 stock = yf.Ticker(ticker) daily_snapshot = stock.history(period="1d") latest = daily_snapshot.iloc[-1] # 逐字段填充 current_price = round(latest["Close"], 2) data_bucket["price"].append(current_price) prev_close = stock.info.get("previousClose", current_price) change_ratio = round((current_price - prev_close)/prev_close * 100, 2) data_bucket["change"].append(f"{change_ratio}%") ex_div_ts = stock.info.get("exDividendDate", "无近期除息安排") if ex_div_ts != "无近期除息安排": ex_div_ts = pd.to_datetime(ex_div_ts, unit="s").strftime("%Y-%m-%d") data_bucket["ex-dividend-date"].append(ex_div_ts) data_bucket["volume"].append(int(latest["Volume"])) except (RequestException, IndexError, KeyError): # 单只采集失败时按列填充统一标记,保证列表长度和索引长度一致 for col in data_bucket.keys(): data_bucket[col].append("数据获取失败") # 以目标股票代码为行索引构造最终表格 output_df = pd.DataFrame(data_bucket, index=ticker_index) print(output_df)
实现优化说明
- 替换松散的独立列表存储逻辑为字段绑定的字典结构,遍历过程中严格保持值的顺序和股票代码列表的顺序一致,从根源上避免行列错位
- 增加全链路异常捕获:单只股票采集失败时不会打乱存储列表的长度,避免因为列表长度和索引长度不匹配触发批量NaN填充
- 对接口返回的原始字段做了格式适配:除息日的时间戳转换、涨跌幅的数值计算都加了容错判断,不会因为空值导致整列失效
- 完全匹配你要求的表格结构:行索引为指定的4支股票代码,列严格对应price、change、ex-dividend-date、volume四个字段
- 如果你使用
requests+BeautifulSoup+lxml的网页爬取方案采集数据,只需要把代码中yfinance取数的片段替换为对应网页元素的选择器匹配逻辑,保持“逐股票遍历、按列绑定存储、异常时填充固定值保证长度对齐”的核心逻辑,就不会出现全NaN的问题
内容的提问来源于stack exchange,提问作者Cholinate Flint
相关产品推荐
相关产品推荐

