CSV数据自动填写网页表单的实现优化及替代方案咨询

1. 单浏览器循环处理的代码优化 #

你原有代码的问题是将浏览器初始化逻辑放在了循环内部，只需要将该逻辑挪到循环外，每次提交后返回表单页即可，优化后代码如下：

#-------------------------------------------------------------------------------
# Imports
import csv
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time

#-------------------------------------------------------------------------------
# Setup
# 初始化浏览器 放到循环外 仅执行一次
# 用webdriver_manager自动管理驱动 无需手动匹配Chrome版本
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
wait = WebDriverWait(driver, 10) # 显式等待最长10秒 比固定time.sleep稳定性更高

with open('data.csv', 'r', encoding='utf-8') as csv_file:
    csv_reader = csv.reader(csv_file)
#-------------------------------------------------------------------------------
# Web Automation
    for line in csv_reader:
        driver.get('http://site')
        # 等待元素加载完成再操作 避免网络波动导致报错
        title_field = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="TITLE"]')))
        title_field.send_keys(line[0])

        fname_field = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="FIRSTNAME"]')))
        fname_field.send_keys(line[1])

        lname_field = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="LASTNAME"]')))
        lname_field.send_keys(line[2])
        
        phone_field = wait.until(EC.presence_of_element_located((By.XPATH, '/html/body/div/div/div[5]/form/div[6]/div/div/div/div/div[1]/div[2]/input[2]')))
        phone_field.send_keys(line[3])

        mail_field = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="EMAIL"]')))
        mail_field.send_keys(line[4])

        submit = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="s-form"]/div[9]/div/button')))
        submit.click()
        # 可选：等待提交成功提示出现后再处理下一条数据
        # wait.until(EC.presence_of_element_located((By.XPATH, '提交成功提示的XPATH')))

# 所有数据处理完成后再关闭浏览器
driver.quit()
#-------------------------------------------------------------------------------

优化点说明：

• 浏览器初始化移到循环外，全程仅开启一个窗口，资源占用降低90%以上
• 引入webdriver-manager自动匹配当前设备的Chrome版本驱动，无需手动更新chromedriver适配版本
• 替换固定time.sleep为显式等待，脚本稳定性大幅提升，不会因为网络波动出现元素找不到的报错

2. 客户交付方案优化 #

针对Selenium版本迭代快、更新成本高的问题，有两个可行方向：

• 低改造成本方案：沿用Selenium脚本，用PyInstaller打包为单EXE文件，打包时内置webdriver-manager依赖，用户双击即可运行，无需安装Python环境或浏览器驱动。后续只要目标表单结构不变，不需要推送更新，就算Chrome版本升级，webdriver-manager也会自动下载对应版本驱动，无需维护版本适配。
• 最优方案：抓包模拟表单提交。通过浏览器F12开发者工具抓取表单提交的POST请求，记录请求头、请求参数、Cookie规则，直接用requests库发送请求完成提交，完全不需要浏览器依赖。该方案打包后的程序体积只有几MB，运行速度是Selenium的10倍以上，资源占用极低，也不存在版本迭代问题，只要第三方表单的提交接口规则不变就可以一直使用。如果表单有验证码，可额外接入验证码识别服务处理。

3. 补充注意事项 #

• 如果提交后表单页会跳转到成功页，下次循环时driver.get重新加载表单页即可，不需要重置浏览器
• 处理CSV时建议指定encoding参数，避免中文乱码问题
• 可以增加简单的日志记录，把提交成功/失败的行号记录下来，方便用户排查问题

内容的提问来源于stack exchange，提问作者Dip Rawal