如何基于ZXing识别的二维码四角点叠加3D对象

提取并校正ZXing返回的角点 #

ZXing解码返回的Result对象中，ResultPoints属性存储检测到的二维码角点，默认开启TryHarder时QR码会返回3个定位角（左上、右上、左下），可通过平面几何公式补全第4个右下角点：

• 角点排序：按x坐标从小到大排序，取左部两个点中y坐标更小的为左上点p0、y更大的为左下点p2，剩余x最大的点为右上点p1
• 补全右下角点p3：p3 = p1 + p2 - p0
• 最终四个角点按「左上、右上、右下、左下」顺序排列

对应提取校正代码：

// 提取原始检测点
ResultPoint[] rawPoints = result.ResultPoints;
// 按x坐标升序排序
var sortedByX = rawPoints.OrderBy(p => p.X).ToArray();
// 区分左上、左下点
Vector2 p0, p2;
if (sortedByX[0].Y < sortedByX[1].Y)
{
    p0 = new Vector2(sortedByX[0].X, sortedByX[0].Y);
    p2 = new Vector2(sortedByX[1].X, sortedByX[1].Y);
}
else
{
    p0 = new Vector2(sortedByX[1].X, sortedByX[1].Y);
    p2 = new Vector2(sortedByX[0].X, sortedByX[0].Y);
}
// 取右上点
Vector2 p1 = new Vector2(sortedByX[2].X, sortedByX[2].Y);
// 补全右下角点
Vector2 p3 = p1 + p2 - p0;
// 最终角点数组
Vector2[] qrCorners2D = new Vector2[] { p0, p1, p3, p2 };

注意：ZXing返回的像素坐标默认以图像左上角为原点，x轴向右、y轴向下，需做好坐标系对齐（若渲染坐标系y轴向上，需对y坐标做翻转处理：normalizedY = 1 - rawY / textureHeight）

坐标归一化与单应性矩阵计算 #

• 坐标归一化：将像素坐标按纹理宽高除以对应值，转换为0~1区间的归一化坐标，消除不同分辨率的影响
• 计算单应性矩阵：单应性矩阵可实现2D像素坐标到3D平面坐标的透视映射，将二维码的4个归一化角点，和你预设的3D基准平面的4个顶点做对应，即可解算出变换矩阵。常见3D引擎（Unity、Three.js等）均内置单应性矩阵的计算工具。

3D对象绑定与动态更新 #

• 生成和二维码尺寸匹配的3D平面作为基准面，通过单应性矩阵将基准面的4个顶点和二维码4个角对齐，还原二维码在空间中的位置、旋转、缩放
• 将需要叠加的3D对象设为基准面的子物体，沿基准面法线方向偏移少量距离，避免和平面穿模
• 每帧执行ZXing解码获取最新角点，重新计算单应性矩阵更新基准面的变换，即可实现3D对象跟随二维码动态移动

常见问题规避 #

• 禁止混淆角点对应关系：若排序错误会导致3D平面透视扭曲，可先在调试模式下给每个角点绘制标记，确认顺序正确后再做映射
• 校正摄像头预览纹理：如果结合摄像头实时检测，需先确认预览纹理是否存在翻转、镜像，提前做坐标校正再映射到3D空间
• 角点抖动优化：远距离、模糊场景下检测到的角点会有波动，可对连续3~5帧的角点坐标做移动平均平滑，避免3D对象抖动

内容的提问来源于stack exchange，提问作者user1241241