如何用BeautifulSoup提取cite标签内不含嵌套标签的纯文本链接

嘿，这个场景我之前处理过！你遇到的问题是因为<cite>里嵌套了<strong>子标签，不过其实BeautifulSoup有现成的方法能轻松提取完整的URL，不用手动拼接子标签内容。给你几个实用的方案：

方案1：用get_text()的默认拼接（最简单高效） #

get_text()方法本身就会自动把当前标签下所有子节点的文本内容拼接在一起，不管嵌套多少层。你只需要稍微调整下代码，加上strip=True去掉可能的首尾空白：

for item in beautifulSoupObj.find_all('cite'):
    # 自动合并cite下所有子节点的文本，strip清理空白
    pagelink.append(item.get_text(strip=True))

测试你给出的HTML结构，这个代码会直接返回https://www.websiteurl.com/id=6，完全符合你的需求。

方案2：递归提取文本（应对复杂嵌套场景） #

如果你的页面里<cite>标签的嵌套结构更复杂（比如不止一层子标签），可以写个小函数递归提取所有文本内容，确保不会遗漏：

def extract_full_text(tag):
    """递归提取标签下所有文本内容"""
    text_fragments = []
    for node in tag.children:
        if not node.name:  # 判断是否是纯文本节点
            text_fragments.append(node.strip())
        else:  # 是标签节点，递归处理
            text_fragments.append(extract_full_text(node))
    # 过滤掉空字符串后拼接
    return ''.join([frag for frag in text_fragments if frag])

for item in beautifulSoupObj.find_all('cite'):
    pagelink.append(extract_full_text(item))

这个方法兼容性拉满，不管<cite>里嵌套了多少层标签，都能把所有文本拼接成完整的URL。

方案3：针对性提取（仅适用于固定结构） #

如果你的页面里每个<cite>的结构都是固定的“前缀文本+链接后缀”，也可以直接分别提取两部分内容再拼接：

for item in beautifulSoupObj.find_all('cite'):
    # 获取cite下的前置文本
    prefix_text = item.string.strip() if item.string else ""
    # 获取strong标签里的文本
    strong_content = item.find('strong').get_text(strip=True) if item.find('strong') else ""
    full_url = prefix_text + strong_content
    pagelink.append(full_url)

import re
# 匹配HTTP/HTTPS开头的URL
url_regex = re.compile(r'https?://[\w./?&=]+')

for item in beautifulSoupObj.find_all('cite'):
    full_text = item.get_text(strip=True)
    # 提取匹配到的URL
    url_match = url_regex.search(full_text)
    if url_match:
        pagelink.append(url_match.group())