使用pytesseract处理表格数据：如何禁用Tesseract上下文字符猜测？

问题背景 #

用pytesseract读取高分辨率表格图像时，遇到两个关键问题：

• 上下文误识别：Tesseract会基于语境做“智能猜测”，比如把S1误识别成$1，相似数字附近也会出现识别偏差；
• 错误分词：将$加入白名单时，一行文本能正确分词：

['Total', '$8,644.27', '$9,653.70']

但移除$（加入黑名单）后，出现逗号丢失、数字拆分的异常：

['Total', '8', '644.27', '9,653.70']

需求明确：让Tesseract完全依赖字符轮廓识别，禁用任何词典、词频、数字格式、上下文相关的自动修改，仅按空格分词；同时需要获取字符/单词的边界框（x,y,w,h）用于分组，仅处理拉丁字母、数字和指定标点。

当前使用的配置如下：

import string

VALID_CHARS = string.digits + string.ascii_letters + '$.,<>\/#%()*@&: +-'
CUSTOM_TESSERACT_CONFIG = (
    '--oem 3 --psm 6 '
    f'-c tessedit_char_whitelist="{VALID_CHARS}" '
    '-c tessedit_enable_dict_correction=0 '
    '-c load_system_dawg=0 '
    '-c load_freq_dawg=0 '
    '-c load_punc_dawg=0 '
    '-c load_number_dawg=0 '
    '-c load_unambig_dawg=0 '
    '-c load_bigram_dawg=0 '
    '-c load_fixed_length_dawgs=0 '
    '-c wordrec_enable_assoc=0 '
    '-c language_model_penalty_non_freq_dict_word=0 '
    '-c language_model_penalty_non_dict_word=0 '
    '-c tessedit_prefer_joined_punct=1 '
    '-c textord_enable_word_ngrams=0 '
    '-c tessedit_good_quality_unrej=1 '
    '-c tessedit_enable_bigram_correction=0 '
    '-c tessedit_enable_doc_dict=0 '
    '-c textord_enable_out_of_punct=0 '
    '-c textord_enable_xheight_stats=0 '
    '-c enable_noise_removal=0 '
    '-c classify_enable_adaptive_matcher=0 '
    '-c classify_enable_learning=0 '
    '-c tessedit_preserve_blk_rej_perfect_wds=1 '
    '-c preserve_interword_spaces=1 '
    '-c segment_penalty_dict_case=0 '
    '-c segment_penalty_garbage=0 '
    '-c textord_split_num_pattern=0'
)

不确定配置是否生效，是否需要重新训练模型。

解决方案 #

1. 强化配置，彻底禁用语言模型干扰 #

• 切换引擎模式：将--oem 3改为--oem 0，使用纯传统识别引擎，完全禁用LSTM的上下文猜测逻辑，仅基于字符轮廓识别；
• 补充关键配置：在现有配置中添加以下参数，彻底关闭所有语言模型相关模块：

  -c language_model_ngram_on=0 \
  -c textord_force_make_prop_words=0 \
  -c textord_numbers_split_on_dots=0 \
  -c textord_min_pitch=0
  

• 修正白名单逻辑：直接从VALID_CHARS中移除$，不要使用黑名单（Tesseract黑名单优先级低于白名单，且可能干扰字符分割逻辑）；
• 验证配置生效：可以通过pytesseract.get_tesseract_version()确认版本，部分旧版本可能不支持部分参数，建议使用Tesseract 5.x版本。

2. 修复数字分词异常 #

移除$后数字拆分的问题，是因为失去了货币符号作为数字分组的锚点，通过以下配置调整：

• textord_numbers_split_on_dots=0：禁止按小数点拆分连续数字；
• textord_min_pitch=0：降低字符间距阈值，避免将连续数字误判为多个单词；
• 图像预处理：对高分辨率图像做轻微二值化处理（比如用PIL的ImageOps.invert()+阈值处理），强化数字、逗号、小数点的轮廓边界，减少识别歧义。

3. 获取字符/单词边界框 #

使用pytesseract.image_to_data()方法，可获取字符级和单词级的边界框坐标，示例代码：

import pytesseract
from PIL import Image
import pandas as pd

# 加载图像
img = Image.open("your_table_image.png")
# 获取识别数据（包含边界框）
ocr_data = pytesseract.image_to_data(
    img,
    config=CUSTOM_TESSERACT_CONFIG,
    output_type=pytesseract.Output.DATAFRAME
)
# 过滤有效识别结果（排除空文本行）
valid_ocr = ocr_data[ocr_data['text'].notna() & (ocr_data['text'] != '')]
# 提取单词级边界框
word_boxes = valid_ocr[['left', 'top', 'width', 'height', 'text']]
# 提取字符级边界框（level=5对应字符级）
char_boxes = valid_ocr[valid_ocr['level'] == 5][['left', 'top', 'width', 'height', 'text']]

4. 无需重新训练模型 #

当前问题完全由语言模型的自动修正逻辑导致，通过调整配置即可解决，无需重新训练模型。如果仍有个别字符识别错误，可针对特定字符制作少量训练样本微调，但优先通过配置优化解决。

内容的提问来源于stack exchange，提问作者SpliFF