You need to enable JavaScript to run this app. Python使用BeautifulSoup抓取JS内Highcharts配置无法定位title求助
优惠活动
大模型
产品
解决方案
定价
更多

Python使用BeautifulSoup抓取JS内Highcharts配置无法定位title求助

问题原因

你之前的代码没有输出是因为BeautifulSoup仅用于解析HTML DOM结构,<script>标签内部的JavaScript代码属于纯文本内容,不是HTML节点,所以无法用.select("title")这类HTML选择器提取JS代码里的属性。

推荐解决方案

方案1:JS配置转Python字典提取(兼容性最好)

借助demjson3库可以直接把Highcharts的非标准JS配置对象转成Python字典,所有字段都可以直接按层级取:

  1. 先安装依赖:pip install demjson3
  2. 完整代码:
import requests
import bs4
import re
import demjson3

LINK = "你的目标链接"
response = requests.get(LINK)                   
response.raise_for_status()                 
soup = bs4.BeautifulSoup(response.text,'html.parser')      

# 遍历所有script标签
for script in soup.find_all("script", type="text/javascript"):
    js_content = script.string
    # 筛选包含Highcharts初始化的脚本
    if not js_content or '.highcharts(' not in js_content:
        continue
    # 提取Highcharts配置的JSON对象段
    config_res = re.search(r'\.highcharts\((\{.*?\})\s*\)', js_content, re.S)
    if not config_res:
        continue
    config_raw = config_res.group(1)
    # 移除所有JS注释避免解析错误
    config_raw = re.sub(r'<!--.*?-->', '', config_raw, re.S)
    config_raw = re.sub(r'//.*?$', '', config_raw, flags=re.M)
    config_raw = re.sub(r'/\*.*?\*/', '', config_raw, re.S)
    # 转成Python字典
    chart_config = demjson3.decode(config_raw)
    
    # 提取目标字段
    # 1. 标题文本
    title_text = chart_config.get('title', {}).get('text', '')
    print("标题内容:", title_text)
    # 2. x轴tickPositions数组
    tick_positions = chart_config.get('xAxis', {}).get('tickPositions', [])
    print("x轴刻度数组:", tick_positions)
    # 3. series的name和data
    series_list = chart_config.get('series', [])
    for index, series in enumerate(series_list):
        print(f"第{index+1}组序列名称:", series.get('name', ''))
        print(f"第{index+1}组序列数据:", series.get('data', []))

方案2:正则直接提取(无需额外依赖)

如果只需要快速取指定字段,不需要全量解析配置,可以直接用正则匹配:

import requests
import bs4
import re

LINK = "你的目标链接"
response = requests.get(LINK)                   
response.raise_for_status()                 
soup = bs4.BeautifulSoup(response.text,'html.parser')      

for script in soup.find_all("script", type="text/javascript"):
    js_content = script.string
    if not js_content or '.highcharts(' not in js_content:
        continue
    # 提取标题文本
    title_res = re.search(r"title\s*:\s*\{\s*text\s*:\s*'([^']+)'", js_content)
    if title_res:
        print("标题内容:", title_res.group(1))
    # 提取x轴刻度数组
    tick_res = re.search(r'tickPositions\s*:\s*(\[.*?\])', js_content, re.S)
    if tick_res:
        tick_positions = eval(tick_res.group(1))
        print("x轴刻度数组:", tick_positions)
    # 提取所有series的名称和数据
    series_res = re.finditer(r"name\s*:\s*'([^']+)'\s*,\s*data\s*:\s*(\[.*?\])", js_content, re.S)
    for item in series_res:
        name = item.group(1)
        data = eval(item.group(2))
        print("序列名称:", name)
        print("序列数据:", data)

注意:eval方法存在代码注入风险,如果目标站点内容不可信,建议使用方案1。

内容的提问来源于stack exchange,提问作者Bio

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 10:48:03