如何使用Python机器学习提取指定网页（URL）内容？

之前通过BeautifulSoup从指定URL提取网页表格内容，现希望改用Python机器学习技术实现相同功能，以下是原有实现代码：

url='https://bevco.in/sales-details/'
response=requests.get(url=url).content
# print(response)
soup=BeautifulSoup(response,'lxml')
table=soup.table#returns 1st table tag. to extract inbetween table use find method
# print(table)
thead=table.find("thead").find_all('td')
# print(thead[0].text)
headings=[td.text for td in thead]
# print(headings)
sheet.append(headings)
    
rows=table.find("tfoot").find_all("tr")
for i in rows:
    row_data=[td.text.strip() for td in i.find_all('td')]#strip remove tab newline etc
    sheet.append(row_data)
excel.save("SalesDetails1.xlsx")

可行的机器学习实现方法 #

• 视觉驱动的表格提取：针对网页结构易变或动态渲染的场景，可先用目标检测模型（如YOLO）定位页面中的表格区域，再结合OCR工具（如Tesseract或定制化文本识别模型）提取表格内的文本内容。若要提升精度，可标注一批网页表格数据对模型进行微调，适配目标网站的布局风格。
• NLP结构化提取：将网页的HTML文本作为输入，利用预训练语言模型（如BERT、GPT系列）结合提示工程，直接让模型识别并输出表格的表头、行数据等结构化信息；也可训练序列标注模型，让模型学习HTML标签与表格内容的对应关系，实现结构化提取。
• LayoutLM类网页理解模型：这类Transformer模型专门针对文档/网页的布局与文本联合理解设计，能同时处理HTML的结构信息和文本内容。只需将目标网页的HTML输入模型，即可直接输出结构化的表格数据，无需依赖固定的标签选择器，适配性更强。

注意事项 #

机器学习方案的优势是能应对网页结构变化的场景，无需频繁修改提取规则；但相比BeautifulSoup这类传统工具，实现成本更高，需要一定的模型训练或微调经验，部分场景还需标注样本数据。

内容的提问来源于stack exchange，提问作者user19709842