如何用BeautifulSoup批量爬取相似HTML中的幂律指数数值？

看起来你已经搞定了单个数值的提取，但硬编码HTML片段显然没法批量处理大量结构相似的页面——我来帮你重构代码，让它能自动适配所有这类页面。

核心思路 #

你不需要把整个HTML写死在代码里，而是利用页面的固定特征定位目标元素：

• 目标数值所在的<tr>，对应着一个带有特定href和title的<a>标签
• 找到这个<a>标签后，就能顺藤摸瓜找到对应的<tr>，再提取第二个<td>里的数值

修改后的完整代码 #

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

def get_power_law_exponent(target_url):
    # 1. 获取并解析目标网页
    try:
        html = urlopen(target_url)
        soup = BeautifulSoup(html, 'html.parser')
    except Exception as e:
        print(f"访问页面失败: {e}")
        return None

    # 2. 通过固定特征定位目标<a>标签
    # 用href和title作为唯一标识，确保找到正确的元素
    target_link = soup.find(
        'a',
        href=".././statistics/power",
        title="Exponent of the power-law degree distribution"
    )

    if not target_link:
        print(f"未找到目标元素: {target_url}")
        return None

    # 3. 从<a>标签向上遍历到对应的<tr>
    # 层级关系: a → b → td → tr
    target_row = target_link.parent.parent.parent

    # 4. 获取第二个<td>的文本内容
    value_cell = target_row.find_all('td')[1]
    cell_text = value_cell.get_text(strip=True)

    # 5. 用正则表达式提取数值（适配不同格式的数值）
    # 匹配整数或小数，比如2.1310、5、3.0等
    number_match = re.search(r'\d+\.?\d*', cell_text)
    if number_match:
        return float(number_match.group())
    else:
        print(f"无法提取数值: {cell_text}")
        return None

# --- 批量处理示例 ---
# 把所有需要爬取的URL放在列表里
url_list = [
    "https://example.com/page1.html",
    "https://example.com/page2.html",
    # 更多URL...
]

for url in url_list:
    exponent = get_power_law_exponent(url)
    print(f"页面 {url} 的幂律指数: {exponent}")

代码说明 #

1. 动态解析网页：不再硬编码HTML，直接从目标URL获取真实页面内容，适配所有结构一致的页面
2. 精准定位元素：用<a>标签的href和title作为唯一标识，不管页面其他内容怎么变，只要这个特征不变就能找到目标行
3. 鲁棒的数值提取：用正则表达式匹配数值，适配带小数、整数等多种格式，不受后面(d<sub>min</sub> = xx)的影响
4. 异常处理：加入了页面访问失败、元素未找到的判断，避免程序崩溃

注意事项 #

• 如果目标网站有反爬机制，需要给urlopen添加请求头（比如User-Agent），可以用Request对象实现
• 检查href和title是否与页面完全一致，有些页面可能会有路径差异（比如相对路径的写法）
• 如果需要提取整数，正则表达式可以保持不变，因为\d+\.?\d*会匹配整数（比如5）和小数（比如2.1310）

内容的提问来源于stack exchange，提问作者Zhouxinyan