WWW::Scripter爬取网页时内存过高及登录表单提交问题求助

问题核心 #

使用use_plugin('JavaScript')时内存消耗过高，替换为plugin('JavaScript')后内存下降，但无法完成登录表单提交，delete/undef操作无效。

原因分析 #

• use_plugin('JavaScript')会全局初始化并启用插件的所有功能，包括完整的JS环境、事件循环等，导致内存占用大；
• plugin('JavaScript')仅动态加载插件但未完成完整初始化，缺少表单提交依赖的JS钩子（如onsubmit事件处理、JS参数加密逻辑），因此提交失败。

解决方案 #

1. 优化use_plugin的内存占用 #

如果必须保留JS功能，通过配置参数削减不必要的特性：

my $scripter = WWW::Scripter->new();
# 禁用事件循环、选择轻量JS引擎，降低内存占用
$scripter->use_plugin('JavaScript', 
    engine => 'JE',
    no_event_loop => 1,
    disable_globals => ['setTimeout', 'setInterval']  # 禁用不需要的全局函数
);

同时，每次请求后清理JS上下文，避免内存累积：

# 请求完成后卸载JS插件上下文
$scripter->plugin('JavaScript')->unload;
# 批量任务场景可直接重建实例
undef $scripter;
$scripter = WWW::Scripter->new();
$scripter->use_plugin('JavaScript', ...);

2. 修复plugin的表单提交问题 #

手动完成插件初始化，确保JS环境就绪：

my $scripter = WWW::Scripter->new();
my $js_plugin = $scripter->plugin('JavaScript');
$js_plugin->init;  # 手动初始化插件，启用所有必要钩子

# 表单处理：用JS触发提交而非直接调用Perl方法
if(my $form = $scripter->form_with_fields("Password")){
  $form->value('Password', $conf->{'moxa_p'});
  # 执行页面原生的JS提交逻辑
  $scripter->eval_js('document.forms[0].submit()');
}else{
  print "dbg +> form 1.0 not found";
}

若表单依赖JS生成的参数（如加密密码、CSRF Token），可：

• 提取页面中的JS加密逻辑，用Perl重实现；
• 通过$scripter->eval_js()执行页面加密函数，再将结果设为表单值。

3. 无JS替代方案 #

如果登录表单不依赖复杂JS，直接使用WWW::Mechanize（WWW::Scripter的底层依赖），彻底规避JS内存问题：

use WWW::Mechanize;

my $mech = WWW::Mechanize->new();
$mech->get('目标登录页面URL');

if(my $form = $mech->form_with_fields("Password")){
  $mech->field('Password', $conf->{'moxa_p'});
  # 若存在CSRF Token，先从页面提取
  # my ($csrf_token) = $mech->content =~ /name="csrf_token" value="([^"]+)"/;
  # $mech->field('csrf_token', $csrf_token);
  $mech->submit();
}else{
  print "dbg +> form 1.0 not found";
}

内容的提问来源于stack exchange，提问作者Rizwan Ahamed