如何用Python自动填充textarea、选择选项并提交网页表单？

当然可以把这个流程自动化！你说的表单提交需求在Python生态里有非常成熟的解决方案，我帮你梳理两个最实用的方向，你可以根据目标网页的复杂程度来选：

针对静态表单：用requests直接模拟请求 #

如果目标网页的表单是纯静态的（没有JavaScript渲染验证、不需要登录后才能提交），直接用requests库模拟POST请求是最高效的方式。

• 核心步骤：

  1. 手动提交一次表单，打开浏览器开发者工具（F12）的「Network」标签，找到提交表单时触发的POST请求，记下请求的URL、表单参数（注意像csrf_token这类防跨站验证字段）和必要的请求头（比如Cookie、User-Agent）。
  2. 用requests.Session()保持会话（避免每次请求都重新建立连接，也能自动处理Cookie），先访问目标页面获取必要的验证字段（比如csrf token）。
  3. 构造表单数据，发送POST请求完成提交。

• 代码示例：

import requests
from bs4 import BeautifulSoup

# 初始化会话，自动维护Cookie
session = requests.Session()

# 先访问目标页面，获取csrf token（如果表单需要的话）
target_url = "https://example.com/submit-form-page"
response = session.get(target_url)
soup = BeautifulSoup(response.text, "html.parser")
csrf_token = soup.find("input", {"name": "csrfmiddlewaretoken"})["value"]

# 构造你的数据挖掘结果表单
form_data = {
    "category": "你的分类结果（比如「科技」「生活」）",
    "content": "你挖掘到的具体内容",
    "csrfmiddlewaretoken": csrf_token  # 替换成实际的验证字段名
}

# 发送提交请求，注意带上Referer头模拟真实访问
submit_url = "https://example.com/submit-action"  # 替换成实际的提交接口URL
submit_response = session.post(
    submit_url,
    data=form_data,
    headers={"Referer": target_url, "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"}
)

# 验证提交结果
if submit_response.ok:
    print("表单提交成功！")
else:
    print(f"提交失败，状态码：{submit_response.status_code}")

针对动态/复杂表单：用浏览器自动化工具（Playwright/Selenium） #

如果目标网页需要登录、表单有JavaScript动态生成的参数，或者是SPA（单页应用），直接模拟请求会很麻烦，这时候用浏览器自动化工具模拟真实用户操作更靠谱。我更推荐Playwright，它的API更简洁，自带浏览器驱动，不需要手动配置。

• 核心步骤：

  1. 安装Playwright并初始化浏览器驱动：pip install playwright，然后运行playwright install安装对应浏览器。
  2. 编写代码模拟打开浏览器、访问页面、填写表单、点击提交按钮的完整流程。

• 代码示例：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # 启动浏览器，headless=True表示后台运行，调试时可以设为False看操作过程
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    
    # 打开目标表单页面
    page.goto("https://example.com/submit-form-page")
    
    # 模拟填写表单（替换成实际的元素选择器，比如id、name、xpath）
    page.fill("#category-select", "你的分类结果")
    page.fill("#content-input", "你挖掘到的内容")
    
    # 点击提交按钮
    page.click("#submit-btn")
    
    # 等待提交成功的提示出现，确保操作完成
    page.wait_for_selector(".success-alert")
    
    print("表单提交完成！")
    browser.close()

额外提示 #

• 先分析目标网页的表单机制：用浏览器开发者工具搞清楚提交逻辑，是简单POST还是AJAX请求，有没有加密参数。
• 遵守网站的使用条款和robots.txt，不要频繁提交请求导致被封禁。
• 如果遇到验证码这类反爬机制，低频场景可以手动处理，高频场景可以考虑第三方验证码识别服务。

内容的提问来源于stack exchange，提问作者Ted Sparks