优化BusyBox单处理器设备上Awk写入SQLite3的速度以保证脉冲计数准确

我有一台运行BusyBox的单处理器设备，需要兼顾其他功能的同时用作流量脉冲计数器，要捕获每秒内随机间隔、宽度20ms的0个或多个脉冲。设备有一个隔离处理器负责生成I/O端口信号的多路复用数据池，我修改了厂商提供的Awk脚本，在解复用信号为'1'时递增TICKCOUNT。

原本用Python程序从复用流收集数据，通过MQTT每5秒上报至Ignition仪表盘；每2秒核对存储值（文本文件/SQLite数据库）计算流量并上报。为准确捕获脉冲，采样率需降至15ms以下，Awk的永久while循环能稳定达到7-11ms的读取间隔，此前仅输出到文本文件时工作正常。

现在要求必须在设备端而非仪表盘服务器计算流量，因此改为写入SQLite数据库记录时间戳供Python读取上报，但Awk中system()调用sqlite3子shell的开销加上Python读取数据库的子shell开销，导致采样速度受影响，计数不再准确。

现有Awk代码（凭记忆）：

#!/bin/awk -f
# proprietary code that sets the mux config
BEGIN {
  TICKCOUNT = 0
  db = "path/to/pulseCount.db"
  commandSQL = "sqlite3 -noheader " db " \"%s\";"

  while(1) {
    # more proprietary code that reads the mux and dumps value to DIN variable
    if (DIN == '1') {
      TICKCOUNT++
      querySQL = "update pulseCount set pulses=" TICKCOUNT ";"
      system(sprintf(commandSQL, querySQL))
    }
  }
}
END {
}

核心优化方案：消除子shell调用瓶颈 #

每次system()调用都会创建新子进程，在单处理器BusyBox环境下开销极大，这是计数不准的核心原因。以下是针对性优化：

1. 用持久化管道替代单次system()调用 #

保持sqlite3进程持续运行，避免重复创建子进程的开销，同时批量写入减少数据库IO：

#!/bin/awk -f
# proprietary code that sets the mux config
BEGIN {
  TICKCOUNT = 0
  BATCH_SIZE = 10  # 可根据脉冲频率调整
  LAST_WRITE = systime()
  db = "path/to/pulseCount.db"
  # 打开持久化sqlite3管道
  sql_pipe = "sqlite3 " db
  # 初始化表（按需调整）
  print "create table if not exists pulseCount(pulses integer, last_update integer);" | sql_pipe
  print "insert or ignore into pulseCount values(0, " systime() ");" | sql_pipe
  flush(sql_pipe)

  while(1) {
    # more proprietary code that reads the mux and dumps value to DIN variable
    if (DIN == '1') {
      TICKCOUNT++
      # 满足批量条件或超时则写入
      if (TICKCOUNT % BATCH_SIZE == 0 || (systime() - LAST_WRITE) > 1) {
        print "update pulseCount set pulses=" TICKCOUNT ", last_update=" systime() ";" | sql_pipe
        flush(sql_pipe)
        LAST_WRITE = systime()
      }
    }
  }
}
END {
  # 退出前写入剩余计数
  if (TICKCOUNT > 0) {
    print "update pulseCount set pulses=" TICKCOUNT ", last_update=" systime() ";" | sql_pipe
    flush(sql_pipe)
  }
  close(sql_pipe)
}

2. 替换SQLite为轻量文本文件存储 #

如果业务允许，用文本文件替代SQLite，IO开销大幅降低：

#!/bin/awk -f
# proprietary code that sets the mux config
BEGIN {
  TICKCOUNT = 0
  LAST_SAVE = systime()
  save_file = "/tmp/pulse_counter.dat"
  # 读取上次保存的计数
  while((getline line < save_file) > 0) {
    split(line, arr, ",")
    TICKCOUNT = arr[1] + 0
    LAST_SAVE = arr[2] + 0
    close(save_file)
    break
  }

  while(1) {
    # more proprietary code that reads the mux and dumps value to DIN variable
    if (DIN == '1') {
      TICKCOUNT++
    }
    # 每2秒写入一次
    if (systime() - LAST_SAVE >= 2) {
      print TICKCOUNT "," systime() > save_file
      close(save_file)
      LAST_SAVE = systime()
    }
  }
}
END {
  # 退出前保存最终计数
  print TICKCOUNT "," systime() > save_file
  close(save_file)
}

Python只需定时读取该文本文件，解析计数和时间戳即可计算流量，完全避开数据库开销。

3. 合并Awk与Python功能（可选） #

如果硬件交互支持，直接用Python读取多路复用信号，省去Awk中间环节：

• 用Python的硬件交互库直接读取I/O信号
• 用线程实现高频率采样（确保间隔<15ms），同时处理MQTT上报和计数存储
• 消除进程间通信开销，性能更可控

4. 系统级辅助优化 #

• 给Awk进程提优先级：nice -n -10 awk -f your_script.awk，让系统优先调度采样任务
• 关闭不必要的后台服务，释放CPU资源给计数进程

内容的提问来源于stack exchange，提问作者WhiteRau