我之前在处理报纸、论文类多栏图片的布局识别时，也碰到过类似模型框选完全偏离的问题，咱们可以从模型适配、参数调优、图片预处理这几个核心方向入手解决，下面是具体的实践建议：

1. 更换更适配的布局检测模型 #

你当前使用的PrimaLayout模型是针对特定的PrimaLayout数据集训练的，该数据集样本多为复杂混合区域的文档，和规整的多栏文本图片风格差异较大。推荐试试专门针对出版物/多栏文档优化的模型：

比如PubLayNet预训练模型，它基于海量论文、出版物的布局数据训练，对规整多栏文本的识别适配性更强：

# 替换原模型加载代码
import layoutparser as lp
import cv2

model = lp.models.Detectron2LayoutModel(
    'lp://PubLayNet/mask_rcnn_R_50_FPN_3x/config',
    extra_config=[
        "MODEL.ROI_HEADS.SCORE_THRESH_TEST", 0.5,
        "MODEL.ROI_HEADS.NMS_THRESH_TEST", 0.3
    ],
    label_map={0: "Text", 1: "Title", 2: "List", 3:"Table", 4:"Figure"}
)

如果是偏向报纸类的多栏场景，还可以查看LayoutParser官方Model Zoo中针对新闻文档优化的预训练模型，选择风格匹配的模型能大幅提升识别准确率。

2. 调整Detectron2模型的推理参数 #

你设置的SCORE_THRESH_TEST=0.7可能过高，导致模型过滤掉了真实的文本栏位；或者NMS（非极大值抑制）阈值不合适，导致栏位框被错误合并/拆分。可以尝试调整这些核心参数：

• 降低SCORE_THRESH_TEST到0.4-0.6区间，让模型保留更多潜在的文本区域
• 调整MODEL.ROI_HEADS.NMS_THRESH_TEST（默认0.5），如果栏位间距较近，可降到0.3-0.4避免相邻栏框被合并

调整后的参数示例：

extra_config=[
    "MODEL.ROI_HEADS.SCORE_THRESH_TEST", 0.5,
    "MODEL.ROI_HEADS.NMS_THRESH_TEST", 0.3,
    "MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE", 128  # 可选：增加单图处理的ROI数量
]

3. 对图片做预处理优化 #

模型识别效果差很多时候和图片质量有关，你可以先对输入图片做预处理，增强文本区域的特征：

def preprocess_image(image_path):
    image = cv2.imread(image_path)
    # 灰度转换+直方图均衡化，提升文本区域对比度
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    equ = cv2.equalizeHist(gray)
    # 转回RGB格式供模型使用
    image = cv2.cvtColor(equ, cv2.COLOR_GRAY2RGB)
    # 可选：将图片resize到固定长边（比如1024），避免尺寸过大/过小影响模型推理
    h, w = image.shape[:2]
    if w > 1024:
        scale = 1024 / w
        image = cv2.resize(image, (1024, int(h*scale)))
    return image

# 替换原图片加载逻辑
image = preprocess_image("test.jpg")

4. 备选方案：结合OCR结果做栏位聚类 #

如果深度学习模型始终效果不理想，可以试试「先OCR再聚类」的轻量思路：

1. 先用OCR工具提取所有文本的边界框
2. 对文本框按x坐标聚类，归为不同栏位
3. 按栏位顺序提取文本

示例代码：

# 加载OCR工具（需提前安装layoutparser[ocr]）
ocr_agent = lp.TesseractAgent(languages='eng')
# 提取所有文本块的OCR结果
text_blocks = ocr_agent.detect(image)

# 按文本框中心x坐标聚类，划分栏位
import numpy as np
from sklearn.cluster import KMeans

x_centers = [block.block.x_1 + (block.block.x_2 - block.block.x_1)/2 for block in text_blocks]
# 假设是2栏，可根据实际情况调整聚类数量
kmeans = KMeans(n_clusters=2, random_state=0).fit(np.array(x_centers).reshape(-1,1))

# 按聚类结果分组，同一栏内按y坐标从上到下排序
columns = {}
for idx, block in enumerate(text_blocks):
    cluster_id = kmeans.labels_[idx]
    if cluster_id not in columns:
        columns[cluster_id] = []
    columns[cluster_id].append(block)

# 逐栏提取文本
for col_id in sorted(columns.keys()):
    col_blocks = sorted(columns[col_id], key=lambda b: b.block.y_1)
    col_text = "\n".join([block.text for block in col_blocks])
    print(f"第{col_id+1}栏文本：\n{col_text}\n")

5. 确认依赖版本兼容性 #

Detectron2的版本兼容性要求较高，你使用的v0.5版本需要和对应版本的torch、torchvision匹配，建议固定依赖版本避免冲突：

pip install torch==1.9.0 torchvision==0.10.0
pip install layoutparser==0.3.4
pip install "git+https://github.com/facebookresearch/detectron2.git@v0.5#egg=detectron2"

你可以先从「更换适配模型+调整参数」开始尝试，这两个方法通常能解决80%以上的布局识别不准问题；如果还是不行，再试试图片预处理或者OCR聚类的方案，应该能得到符合预期的栏位划分~