如何用Python+BeautifulSoup更高效地在Script标签中查找指定变量

原始实现 #

你已经通过以下代码获取网页所有Script标签：

url = "www.xxxx.com"
rlink = requests.get(url, cookies=cookies).content
html = BeautifulSoup(rlink, 'html.parser')
scripttags = html.findAll("script")

目标是从7个Script标签中提取唯一的var playbackUrl = 'https://www.yyyy.com'变量值，现有实现代码如下：

for i in range(len(scripttags)):
    if "playbackUrl" in str(scripttags[i]):
        for j in str(scripttags[i]).split("\n"):
            if "playbackUrl" in j:
                url_=re.search("'(.*)'", j).group(1)
                print(url_)

优化后的高效实现 #

以下是几种更简洁高效的实现方式：

方式一：简化遍历逻辑+直接正则匹配

import re
from bs4 import BeautifulSoup
import requests

url = "www.xxxx.com"
rlink = requests.get(url, cookies=cookies).content
html = BeautifulSoup(rlink, 'html.parser')
scripttags = html.findAll("script")

for script in scripttags:
    # 直接获取脚本文本内容，避免重复转换字符串
    content = script.string
    if content and "playbackUrl" in content:
        # 用非贪婪正则直接匹配目标值，无需逐行拆分
        match = re.search(r"var playbackUrl = '(.*?)'", content)
        if match:
            print(match.group(1))
            break  # 找到唯一目标后立即终止循环

方式二：预编译正则（适合多次执行场景）

如果需要重复执行该提取操作，预编译正则表达式能进一步提升效率：

import re
from bs4 import BeautifulSoup
import requests

# 预编译正则模式
playback_pattern = re.compile(r"var playbackUrl = '(.*?)'")

url = "www.xxxx.com"
rlink = requests.get(url, cookies=cookies).content
html = BeautifulSoup(rlink, 'html.parser')
scripttags = html.findAll("script")

for script in scripttags:
    content = script.string
    if content:
        match = playback_pattern.search(content)
        if match:
            print(match.group(1))
            break

优化点说明 #

• 避免使用range(len(scripttags))遍历索引，直接迭代Script标签对象，代码更简洁高效
• 使用script.string直接获取脚本文本，比str(script)更轻量，无需解析整个标签的HTML结构
• 去掉逐行拆分的内层循环，直接在整个脚本内容中执行正则匹配，减少循环层级
• 找到目标后立即break终止遍历，利用变量唯一的特性避免不必要的计算
• 正则采用非贪婪匹配(.*?)，防止遇到多个单引号时出现匹配错误

内容的提问来源于stack exchange，提问作者peekaboo