Python使用BeautifulSoup抓取JS内Highcharts配置无法定位title求助
问题原因
你之前的代码没有输出是因为BeautifulSoup仅用于解析HTML DOM结构,<script>标签内部的JavaScript代码属于纯文本内容,不是HTML节点,所以无法用.select("title")这类HTML选择器提取JS代码里的属性。
推荐解决方案
方案1:JS配置转Python字典提取(兼容性最好)
借助demjson3库可以直接把Highcharts的非标准JS配置对象转成Python字典,所有字段都可以直接按层级取:
- 先安装依赖:
pip install demjson3 - 完整代码:
import requests import bs4 import re import demjson3 LINK = "你的目标链接" response = requests.get(LINK) response.raise_for_status() soup = bs4.BeautifulSoup(response.text,'html.parser') # 遍历所有script标签 for script in soup.find_all("script", type="text/javascript"): js_content = script.string # 筛选包含Highcharts初始化的脚本 if not js_content or '.highcharts(' not in js_content: continue # 提取Highcharts配置的JSON对象段 config_res = re.search(r'\.highcharts\((\{.*?\})\s*\)', js_content, re.S) if not config_res: continue config_raw = config_res.group(1) # 移除所有JS注释避免解析错误 config_raw = re.sub(r'<!--.*?-->', '', config_raw, re.S) config_raw = re.sub(r'//.*?$', '', config_raw, flags=re.M) config_raw = re.sub(r'/\*.*?\*/', '', config_raw, re.S) # 转成Python字典 chart_config = demjson3.decode(config_raw) # 提取目标字段 # 1. 标题文本 title_text = chart_config.get('title', {}).get('text', '') print("标题内容:", title_text) # 2. x轴tickPositions数组 tick_positions = chart_config.get('xAxis', {}).get('tickPositions', []) print("x轴刻度数组:", tick_positions) # 3. series的name和data series_list = chart_config.get('series', []) for index, series in enumerate(series_list): print(f"第{index+1}组序列名称:", series.get('name', '')) print(f"第{index+1}组序列数据:", series.get('data', []))
方案2:正则直接提取(无需额外依赖)
如果只需要快速取指定字段,不需要全量解析配置,可以直接用正则匹配:
import requests import bs4 import re LINK = "你的目标链接" response = requests.get(LINK) response.raise_for_status() soup = bs4.BeautifulSoup(response.text,'html.parser') for script in soup.find_all("script", type="text/javascript"): js_content = script.string if not js_content or '.highcharts(' not in js_content: continue # 提取标题文本 title_res = re.search(r"title\s*:\s*\{\s*text\s*:\s*'([^']+)'", js_content) if title_res: print("标题内容:", title_res.group(1)) # 提取x轴刻度数组 tick_res = re.search(r'tickPositions\s*:\s*(\[.*?\])', js_content, re.S) if tick_res: tick_positions = eval(tick_res.group(1)) print("x轴刻度数组:", tick_positions) # 提取所有series的名称和数据 series_res = re.finditer(r"name\s*:\s*'([^']+)'\s*,\s*data\s*:\s*(\[.*?\])", js_content, re.S) for item in series_res: name = item.group(1) data = eval(item.group(2)) print("序列名称:", name) print("序列数据:", data)
注意:
eval方法存在代码注入风险,如果目标站点内容不可信,建议使用方案1。
内容的提问来源于stack exchange,提问作者Bio
相关产品推荐
相关产品推荐

