寻求NSE近1年期权（Calls&Puts）数据爬取方案及故障排查指导

一、可靠数据源推荐 #

• NSE官方API：NSE提供公开REST接口，直接调用比网页爬取更稳定合规，支持期权链、历史数据查询，无需应对反爬机制。
• 付费数据服务商：部分金融数据平台提供NSE期权历史数据批量导出服务，适合不想自行开发的用户，需注意不同平台的付费门槛。

二、爬取技术指导 #

1. Python Beautiful Soup爬取失败原因 #

NSE期权页面依赖JS动态渲染数据，Beautiful Soup仅能解析静态HTML，无法抓取动态加载的期权链内容，需使用支持JS渲染的工具（如selenium、playwright）。

2. PowerShell+Puppeteer启动失败排查方案 #

• 版本匹配：Puppeteer默认自带的Chrome版本可能与本地安装的版本不兼容，改用puppeteer-core手动指定本地Chrome路径：
  先执行安装命令：

  npm install puppeteer-core
  

  再使用以下脚本启动：

  const puppeteer = require('puppeteer-core');
  (async () => {
    const browser = await puppeteer.launch({
      executablePath: 'C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe', // 替换为你的Chrome实际路径
      headless: true,
      args: ['--no-sandbox', '--disable-setuid-sandbox'] // 解决权限限制问题
    });
    const page = await browser.newPage();
    // 后续爬取逻辑
    await browser.close();
  })();
  

• 权限问题：以管理员身份运行PowerShell，避免系统权限拦截Chrome进程启动。
• 安全软件干扰：临时关闭防火墙、杀毒软件，排除其阻止Chrome启动的可能。

三、Python代码示例（Playwright实现） #

1. 安装依赖 #

pip install playwright
playwright install chrome

2. 单到期日期权数据爬取示例 #

from playwright.sync_api import sync_playwright
import pandas as pd

def fetch_nse_options(symbol, expiry_date):
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        # 跳转至NSE期权链页面
        page.goto(f'https://www.nseindia.com/option-chain?symbol={symbol}')
        # 等待核心元素加载
        page.wait_for_selector('#optionChainTable-indices')
        # 切换目标到期日
        page.select_option('#expirySelect', value=expiry_date)
        page.wait_for_timeout(2000) # 等待数据刷新
        
        # 提取看涨期权数据
        call_rows = page.query_selector_all('#octable > tbody > tr.call')
        call_data = []
        for row in call_rows:
            cols = row.query_selector_all('td')
            if len(cols) >= 11:
                call_data.append({
                    '行权价': cols[1].text_content().strip(),
                    '持仓量': cols[2].text_content().strip(),
                    '持仓变化': cols[3].text_content().strip(),
                    '成交量': cols[4].text_content().strip(),
                    '隐含波动率': cols[5].text_content().strip(),
                    '最新价': cols[6].text_content().strip(),
                    '涨跌额': cols[7].text_content().strip(),
                    '买量': cols[8].text_content().strip(),
                    '买价': cols[9].text_content().strip(),
                    '卖价': cols[10].text_content().strip(),
                    '卖量': cols[11].text_content().strip()
                })
        
        # 提取看跌期权数据
        put_rows = page.query_selector_all('#octable > tbody > tr.put')
        put_data = []
        for row in put_rows:
            cols = row.query_selector_all('td')
            if len(cols) >= 11:
                put_data.append({
                    '行权价': cols[1].text_content().strip(),
                    '买量': cols[2].text_content().strip(),
                    '买价': cols[3].text_content().strip(),
                    '卖价': cols[4].text_content().strip(),
                    '卖量': cols[5].text_content().strip(),
                    '涨跌额': cols[6].text_content().strip(),
                    '最新价': cols[7].text_content().strip(),
                    '隐含波动率': cols[8].text_content().strip(),
                    '成交量': cols[9].text_content().strip(),
                    '持仓变化': cols[10].text_content().strip(),
                    '持仓量': cols[11].text_content().strip()
                })
        
        browser.close()
        return pd.DataFrame(call_data), pd.DataFrame(put_data)

# 调用示例：获取NIFTY指数指定到期日的期权数据
call_df, put_df = fetch_nse_options('NIFTY', '27-Jun-2024')
print("看涨期权数据：")
print(call_df.head())
print("\n看跌期权数据：")
print(put_df.head())

批量获取1年数据注意事项 #

• 遍历NSE过去1年的所有期权到期日，逐个调用上述函数后合并数据。
• 添加请求间隔（3-5秒/次），避免触发NSE反爬机制导致IP被封禁。

内容的提问来源于stack exchange，提问作者Xm Duard