能否用多CPU并行运行SpamAssassin的sa-learn及优化方案咨询

1. GNU Parallel并行访问MariaDB的安全性 #

在MariaDB作为SpamAssassin存储后端的场景下，用find . -type f -name "*.txt" | parallel "sa-learn -L --spam {}"并行运行是安全的。
SpamAssassin的sa-learn工具在与MariaDB交互时，依赖InnoDB引擎的事务和行级锁机制处理并发写入，不会出现数据损坏或冲突。不过建议控制并行度，比如用parallel -j 10（留2个核心给数据库和系统进程），避免过度占用资源导致数据库连接超时或系统负载过高。

2. 利用12vCPU缩短运行时间的其他方案 #

• 批量分组处理：避免单文件启动一个sa-learn进程的开销，用parallel -X参数将多个文件打包给单个进程处理，同时保持12个并行任务：

  find . -type f -name "*.txt" | parallel -X -j 12 sa-learn -L --spam {}
  

  -X会自动将尽可能多的文件分配给每个sa-learn进程，减少进程启停的资源消耗。
• 前置过滤无效文件：提前跳过空文件或非邮件格式的文本，比如只保留有邮件头部的文件：

  find . -type f -name "*.txt" -size +0c -exec grep -q "^From:" {} \; -print | parallel ...
  

  减少sa-learn的无效处理时间。
• 临时调优MariaDB：针对批量写入场景临时优化数据库配置，比如增大innodb_buffer_pool_size（设为系统内存的50%-70%）、临时关闭innodb_flush_log_at_trx_commit=2，降低IO等待，让CPU资源充分释放。批量完成后再恢复原配置。

3. --no-sync与--sync的效率提升作用 #

确实能显著提升效率：

• 运行学习任务时添加--no-sync，会跳过每次学习后的强制数据库刷盘操作，避免频繁IO阻塞，让sa-learn进程更快完成任务。
• 所有学习任务结束后，单独执行sa-learn --sync，一次性完成数据库的同步和索引更新，比每次操作都同步的总耗时要少得多。
  这个操作是安全的，只要批量过程中系统不意外断电，最终的--sync会确保所有学习数据持久化到数据库。

内容的提问来源于stack exchange，提问作者Christian