如何修复OCR表格中单元格多行文本拆分后的内容错位问题？

核心思路 #

Google Vision API返回的每个文本单元（单词/文本块）都包含精确的边界框坐标，我们可以通过单元格分组→行内排序→文本拼接的流程，重构单个单元格内的多行文本：

1. 先将属于同一单元格的所有文本块归为一组；
2. 在组内按垂直位置（Y坐标）区分行，同一行内按水平位置（X坐标）排序；
3. 按行顺序拼接文本，恢复正确的阅读顺序。

具体实现步骤与示例代码 #

1. 解析Vision API响应，提取文本块与边界框 #

优先使用full_text_annotation字段（而非text_annotations），它保留了文档的层级结构（页面→块→段落→单词），更便于结构分析。

2. 单元格文本块过滤与排序 #

以下是Python示例代码，假设你已经通过表格检测（或人工定义）得到了目标单元格的边界框cell_bbox：

from google.cloud import vision_v1 as vision

def reconstruct_cell_text(full_text_annotation, cell_bbox):
    # 提取所有单词及其边界框信息
    word_list = []
    for page in full_text_annotation.pages:
        for block in page.blocks:
            for para in block.paragraphs:
                for word in para.words:
                    # 计算单词边界框的实际范围（处理顶点无序的情况）
                    vertices = word.bounding_box.vertices
                    left = min(v.x for v in vertices)
                    top = min(v.y for v in vertices)
                    right = max(v.x for v in vertices)
                    bottom = max(v.y for v in vertices)
                    height = bottom - top
                    width = right - left

                    # 判断单词是否属于当前单元格（重叠面积占比>80%）
                    overlap_left = max(left, cell_bbox['left'])
                    overlap_top = max(top, cell_bbox['top'])
                    overlap_right = min(right, cell_bbox['right'])
                    overlap_bottom = min(bottom, cell_bbox['bottom'])
                    overlap_area = max(0, overlap_right - overlap_left) * max(0, overlap_bottom - overlap_top)
                    word_area = width * height if width > 0 and height > 0 else 1

                    if overlap_area / word_area > 0.8:
                        # 拼接单词文本
                        word_text = ''.join([sym.text for sym in word.symbols])
                        word_list.append({
                            'text': word_text,
                            'top': top,
                            'left': left,
                            'height': height
                        })

    if not word_list:
        return ""

    # 计算行分组阈值：取所有单词平均高度的一半
    avg_height = sum(w['height'] for w in word_list) / len(word_list)
    row_threshold = avg_height * 0.5

    # 按垂直位置分组行，同一行内按水平位置排序
    word_list_sorted = sorted(word_list, key=lambda x: x['top'])
    rows = []
    current_row = [word_list_sorted[0]]

    for word in word_list_sorted[1:]:
        if word['top'] - current_row[0]['top'] < row_threshold:
            current_row.append(word)
        else:
            # 对当前行按水平位置排序后加入行列表
            rows.append(sorted(current_row, key=lambda x: x['left']))
            current_row = [word]
    # 处理最后一行
    rows.append(sorted(current_row, key=lambda x: x['left']))

    # 拼接所有行的文本（行内用空格分隔，行之间也用空格，可根据需求调整）
    return ' '.join([' '.join([w['text'] for w in row]) for row in rows])

# 示例调用
# 假设已获取单元格边界框（可通过表格检测工具或Vision API的表格识别得到）
target_cell_bbox = {
    'left': 150,
    'top': 220,
    'right': 480,
    'bottom': 590
}

# 假设已完成Vision API调用，得到full_text_annotation
# client = vision.ImageAnnotatorClient()
# response = client.document_text_detection(image=your_image_or_pdf)
# full_text_annotation = response.full_text_annotation

reconstructed_text = reconstruct_cell_text(full_text_annotation, target_cell_bbox)
print(reconstructed_text)

后处理策略与最佳实践 #

• 精确单元格边界：如果表格有清晰的线条，优先用表格检测工具（如Google Vision的TABLE_DETECTION功能）获取单元格的精确边界，避免文本块分组错误。
• 动态行阈值：不要用固定像素值作为行判断阈值，而是根据当前单元格内文本的平均高度计算，适配不同字体大小的文档。
• 可视化调试：处理复杂文档时，可将文本块的边界框和文本可视化（如用Matplotlib绘制），快速定位排序逻辑的问题。
• 优先使用文档检测模式：调用Vision API时选择DOCUMENT_TEXT_DETECTION而非TEXT_DETECTION，该模式针对结构化文档优化，能更好地保留文本的行、段落结构。

内容的提问来源于stack exchange，提问作者Matthew Lee