数据库添加记录时的数据丢失问题求助

核心问题分析 #

你的问题本质是并行处理场景下，HTML词提取逻辑的输出不稳定，进而导致数据库插入的lemma记录数波动。加synchronized无效，说明问题不在数据库插入环节的竞争，而是在词提取或上游的HTML获取/解析环节。

可能原因与排查步骤 #

1. 网络请求的不确定性 #

• 排查方法：将目标URL的响应内容保存为本地静态文件，反复调用extractWordsFromUrl解析该本地文件。如果词数稳定，说明是网络返回的HTML内容不一致（比如动态页面、CDN缓存差异、服务器实时生成的内容变化）；如果仍不稳定，排除网络因素，转向本地逻辑排查。
• 解决方向：对同一URL的请求结果做本地缓存，解析时复用缓存内容；或过滤HTML中动态变化的部分（如广告、实时更新的模块）后再提取词。

2. HTML解析工具的线程安全问题 #

• 排查方法：检查你使用的HTML解析库（如Jsoup、HTMLUnit等）是否为线程安全。多数解析库的实例（如Jsoup.parse()返回的Document）是线程不安全的，如果在多线程/ForkJoin任务中共享解析实例或全局解析对象，会导致状态污染，解析结果错乱。
• 解决方向：确保每个线程/ForkJoin任务都创建独立的解析实例，不要复用全局的解析器或Document对象。比如在extractWordsFromUrl内部每次解析都调用Jsoup.parse()生成新实例，而不是使用静态成员变量存储的实例。

3. 词提取逻辑的共享可变状态 #

• 排查方法：检查extractWordsFromUrl内部是否使用了静态变量、全局集合（如static List<String> words）来存储中间提取的词。多线程下多个任务同时写入这些共享状态，会导致数据丢失、重复或计数错误，这种情况仅给insertLemmasToTable加synchronized无法解决。
• 解决方向：将所有可变状态改为局部变量，每个任务独立维护自己的词集合（如在extractWordsFromUrl内创建List<String> localWords = new ArrayList<>()），避免跨任务的状态共享。

4. ForkJoin任务的拆分/合并逻辑错误 #

• 排查方法：在ForkJoin任务的compute方法中，打印每个子任务提取的词数，以及合并后的总词数。如果子任务的词数之和与合并后的总词数不一致，说明合并逻辑存在丢失数据的问题（比如遗漏了某些子任务的结果）。
• 解决方向：修正ForkJoin的任务拆分逻辑，确保所有页面内容都被拆分到子任务中；检查合并逻辑，确保所有子任务的返回结果都被正确累加或合并。

5. 数据库插入的隐性失败 #

• 排查方法：在insertLemmasToTable方法中添加日志，记录每次传入的词数、执行插入后的受影响行数，对比提取的词数和实际插入的数量。如果存在插入失败（受影响行数小于传入词数），可能是数据库连接问题、约束冲突（如重复主键）或异常未被捕获。
• 解决方向：捕获插入操作的异常并记录日志；对插入失败的情况添加重试机制；确保lemma表的主键或唯一约束不会导致插入被静默拒绝。

内容的提问来源于stack exchange，提问作者Ivan Kazantsev