如何抓取采用Ajax的LimeSurvey动态问卷数据

一、Ajax翻页后无法提取数据的修复方案 #

• 强制等待元素加载：在每轮数据提取前添加Wait操作，选择当前页的问题容器（比如.question-wrapper这类全局类名）作为等待目标，确保Ajax加载完成后再执行提取，避免抓取空数据。
• 重构循环逻辑：将「提取当前页数据」和「点击下一页」合并到同一个循环中。循环流程应为：提取数据 → 检查下一页按钮是否存在 → 存在则点击并等待页面更新 → 不存在则终止循环。不要单独循环点击下一页再批量提取。
• 关闭快速导航：进入ParseHub项目设置，关闭Fast navigation选项，该功能会跳过Ajax加载的等待过程，导致页面未完全渲染就执行后续操作。

二、动态问题结构（单选/复选框）的适配方法 #

• 使用通用选择器匹配选项：不管单选还是复选框，它们的选项通常嵌套在带有统一类名的容器里（比如.answer-option）。先定位每个问题的标题元素（比如.question-text），再遍历该问题下的所有.answer-option，提取选项文本和checked属性值（判断是否选中）。
• 条件分支处理差异结构：如果单选和复选框的DOM结构差异较大，添加If/Else条件判断：检查当前问题节点是否包含input[type="radio"]，是则按单选逻辑提取；若包含input[type="checkbox"]，则按复选框逻辑提取选项集合。
• 动态字段映射：将问题标题作为数据字段的键，选项列表作为对应的值，比如{"问题1": ["选项A（已选）", "选项B"]}，避免因问题类型不同导致数据结构混乱。

关于导出ParseHub项目的排查建议 #

• 替换固定位置选择器：检查所有选择器，避免使用div:nth-child(3)这类依赖DOM位置的选择器，改用类名、属性选择器（比如[name^="answer"]）保证通用性。
• 添加步骤注释：在每个操作步骤旁添加注释（比如「等待当前页问题加载完成」「提取复选框选项」），方便快速定位逻辑问题。

内容的提问来源于stack exchange，提问作者rigozsolt01