DeepSpeech 0.9.3自定义Scorer输出空字符串的原因及解决咨询

问题 #

我按照DeepSpeech官方文档，在Docker环境中基于有限语料库训练语言模型并生成Scorer，操作步骤如下：

• 创建包含目标语句的vocab.txt，存入deepspeech-data-input目录；
• 执行构建语言模型命令：

  python3 generate_lm.py --input_txt ../../deepspeech-data/input/vocab.txt --output_dir ../../deepspeech-data/output --top_k 100 --kenlm_bins /DeepSpeech/native_client/kenlm/build/bin/ --arpa_order 5 --max_arpa_memory "85%" --arpa_prune "0|0|0|0" --binary_a_bits 255 --binary_q_bits 8 --binary_type trie --discount_fallback
  

• 执行生成Scorer命令：

  ./generate_scorer_package --alphabet ../../deepspeech-data/input/alphabet.txt --lm ../../deepspeech-data/output/lm.binary --vocab ../../deepspeech-data/output/vocab-100.txt --package ../../deepspeech-data/output/deepspeech-0.9.3-models.scorer --default_alpha 0.9 --default_beta 0.9 --force_bytes_output_mode 1
  

• 替换默认Scorer后运行DeepSpeech。

全程无报错，但识别结果为空字符串，使用官方默认Scorer则正常。已尝试调整参数，且用--discount_fallback适配小语料，当前在GitHub的NodeJS示例环境中运行，求问题原因及解决方法。

原因分析与解决方法 #

1. 语料库规模过小导致语言模型概率异常 #

有限语料库（尤其是单条或少量语句）训练的LM可能出现所有词的概率极低甚至为0的情况，解码时无法匹配有效序列。

• 解决办法：
  • 扩充语料库，至少包含数百条不同语句，覆盖目标场景的常用词汇和句式；
  • 降低arpa_order参数（比如从5改为2或3），避免高阶n-gram因语料不足出现概率为0的情况；
  • 检查vocab-100.txt内容，确保包含识别所需的所有核心词汇，若目标词汇未在其中，解码时会被过滤。

2. Scorer生成参数不匹配 #

• 检查alphabet.txt是否与DeepSpeech 0.9.3官方模型使用的完全一致，官方alphabet包含特定符号（如'、空格等），自定义alphabet缺失或多余字符会导致字符映射失败；
• 调整default_alpha和default_beta：小语料下默认的0.9可能不适用，尝试将alpha调至0.5-1.2、beta调至0.3-1.0，逐步测试最优值；
• 去掉--force_bytes_output_mode 1参数：该参数用于特定编码场景，NodeJS环境若用默认编码，强制开启可能导致字符解析异常。

3. NodeJS示例环境解码逻辑适配问题 #

• 检查NodeJS代码中是否正确加载自定义Scorer，确认文件路径无误，且加载过程无静默错误；
• 在Python环境中测试自定义Scorer，排除NodeJS环境的适配问题；
• 开启DeepSpeech调试日志（设置DEEPSPEECH_VERBOSITY=2），查看解码过程中的概率计算、词汇匹配日志，定位结果为空的具体环节。

4. LM二进制文件生成异常 #

• 检查lm.binary文件大小，若仅几KB，说明生成过程未正确处理语料；
• 重新运行generate_lm.py时去掉--arpa_prune "0|0|0|0"，使用默认剪枝策略，避免因无剪枝导致LM无法正确生成；
• 验证生成的arpa文件（若未删除），查看其中是否包含目标语句的n-gram条目，确认语料被正确处理。

内容的提问来源于stack exchange，提问作者jbflow