如何让Keras的CTC损失适配输入尺寸差异极大的摩尔斯电码识别任务

1 输入表示优化 #

• 下采样时间维度：根据摩尔斯电码最小单元（点的时长）设置下采样窗口，比如如果单个点对应原始输入的5个时间步，直接用MaxPool1D或者平均池化把时间步压缩到单步对应1/4到1/2个点的时长，既保留边界信息，又避免单时间步被单独识别为E
• 特征维度扩展：不要只用单维的信号强度，额外添加滑动窗口统计特征，比如当前时间步前后k个步长的平均值、方差、信号跳变沿标记，让模型更容易区分单点、长划、间隔的模式
• 长度归一化：按照预估的WPM（词每分钟）对输入序列做动态长度缩放，把不同速度的摩尔斯电码统一到相同的字符时间步比例，比如把单个点统一缩放到2个时间步，长划缩放到6个时间步，消除不同发报速度带来的字符长度差异

2 模型结构调整 #

• 增大CNN感受野：在前端CNN层使用更大的卷积核，比如用kernel_size=7、9的1D卷积，搭配空洞卷积，让单个输出时间步能覆盖到至少1个完整长划的长度，避免模型只看到局部短信号就判定为E
• 替换RNN单元为双向LSTM/GRU并加大隐层维度：双向结构可以让模型结合当前时间步前后的信号特征，比如当前短信号前后都是空白的话才是E，要是前后都有信号大概率是长划或者组合字符的一部分
• 添加字符长度约束头：在主CTC损失之外，加一个辅助损失头预测输入序列对应的总字符数，辅助模型判断整体的字符分割粒度，避免拆分成过多单字符E

3 CTC损失与解码优化 #

• 调整空白标签权重：增大CTC损失中空白标签的权重，抑制模型在连续信号中间输出有效字符的概率
• 调整解码阈值：推理阶段调高有效字符的输出阈值，或者在CTC波束解码后增加后处理规则，比如过滤掉长度小于单个点时长的字符预测，以及合并相邻的重复相同字符（除非中间有明确的间隔标记）
• 加入摩尔斯编码规则约束：解码后添加规则校验，比如不符合摩尔斯编码规则的字符序列自动替换为最接近的合法字符，比如连续3个点原本识别为EEE，根据上下文可以修正为S

4 训练策略优化 #

• 构造符合真实长度分布的训练数据：训练数据中要覆盖不同字符的时长比例，避免E类样本的时长占比过高，同时加入不同WPM、不同噪声强度的样本，提升模型鲁棒性
• 采用时序裁剪训练：随机裁剪输入序列的局部片段训练，让模型适应不同的上下文边界，避免过拟合到固定的字符长度模式

内容的提问来源于stack exchange，提问作者babrs