Android平台OpenCV SIFT的detectAndCompute无报错闪退问题咨询

问题根因分析 #

• SIFT检测器闪退原因：OpenCV 4.5.4版本中SIFT默认启用了浮点运算优化，部分安卓9及以下的ARMv7/ARMv8低版本设备对OpenCV的SIMD浮点指令兼容性存在缺陷，无报错直接闪退大概率是触发了非法指令异常被系统直接kill进程。
• ORB替换后knnMatch闪退原因：你当前BFMatcher初始化用的NORM_HAMMING是适用于ORB二进制描述子的，但你调用knnMatch时没有做返回结果校验：当其中一个描述子矩阵为空、或者匹配结果不足2个的时候，直接访问matches[i][1]会触发数组越界崩溃。模拟器能运行是因为模拟器性能更强、特征点检出率更高，物理设备摄像头/输入图像质量差的时候很容易出现特征点不足的情况。
• 额外隐藏问题：你创建usr_mask时Mat构造参数传反了，OpenCV中Mat构造是行在前、列在后，你写的Mat(usr_img.cols,usr_img.rows, CV_8UC1, Scalar(255.0))会导致mask尺寸和图像不匹配，也是闪退的常见诱因。

修复步骤 #

1. 修复SIFT闪退 #

修改SIFT初始化代码，关闭不必要的浮点优化：

// 替换原来的SIFT创建代码，关闭精确Octave层计算、降低阈值规避浮点密集运算
Ptr<SIFT> detector = SIFT::create(0, 3, 0.04, 10, 1.6, false);

如果还是闪退，在JNI的Application.mk中添加以下编译参数，禁用不兼容的SIMD指令：

APP_CPPFLAGS += -mfpu=vfpv3-d16 -mfloat-abi=softfp
APP_ABI := armeabi-v7a arm64-v8a # 不要将x86相关ABI打包到真机安装包

另外注意SIFT描述子是浮点类型，匹配器不能用NORM_HAMMING，需要改为NORM_L2：

Ptr<BFMatcher> matcher = BFMatcher::create(NORM_L2,true);

2. 修复ORB下knnMatch闪退 #

在调用knnMatch前后添加校验逻辑，避免越界访问，同时修正mask构造参数：

// 先修复mask构造参数
Mat usr_mask = Mat(usr_img.rows, usr_img.cols, CV_8UC1, Scalar(255.0));

// 所有图像读取后都要加空校验
if(usr_img.empty() || ref_img.empty() || overlay_img.empty()){
    // 直接返回错误，不要执行后续逻辑
    return;
}

matcher->knnMatch(usr_descriptors,ref_descriptors,matches,2);

std::vector<DMatch> good_matches;
// 先校验matches总长度，再校验每个match的子元素数量
for(uint32_t i = 0; i < matches.size(); i++){
    if(matches[i].size() >= 2 && matches[i][0].distance*1.33 < matches[i][1].distance){
        good_matches.push_back(matches[i][0]);
    }
}

内容的提问来源于stack exchange，提问作者Drew