我之前做航拍三维重建的时候也遇到过这个问题，光束法平差对POI的唯一性要求确实很严格——毕竟它要把所有图像里对应同一个真实世界点的像素坐标绑定在一起做全局优化，两两匹配的结果显然没法直接满足这个需求。下面是我当时解决这个问题的几个关键步骤：

1. 先过滤掉不可靠的匹配，减少歧义 #

FLANN匹配出来的结果里肯定混着不少错误匹配，这些错误匹配会直接导致后续全局关联出错，所以第一步必须做严格的过滤：

• Lowe's Ratio Test：保留匹配中距离远小于第二近邻距离的结果，一般用0.75作为阈值，能过滤掉大部分弱匹配。
• RANSAC外点剔除：用cv2.findFundamentalMat或者cv2.findHomography估计图像对的几何约束，把不满足约束的外点删掉。这一步能有效去除那些几何上不合理的错误匹配。

示例代码片段：

# 假设已经得到FLANN的knn匹配结果（k=2）
matches = flann.knnMatch(des1, des2, k=2)

# 应用Lowe's Ratio Test
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

# 用RANSAC过滤外点
src_pts = np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1,1,2)
dst_pts = np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1,1,2)
_, mask = cv2.findFundamentalMat(src_pts, dst_pts, cv2.FM_RANSAC, 1.0, 0.99)
mask = mask.ravel().tolist()

# 保留内点匹配
final_matches = [good_matches[i] for i in range(len(good_matches)) if mask[i]]

2. 用连通分量分析构建全局唯一POI #

经过过滤的两两匹配结果，我们可以把每个匹配对看作是两个特征点之间的“连接”——同一个真实世界点的特征点会在不同图像对的匹配中形成一个连通的集合。这里用**并查集（Union-Find）**数据结构来高效管理这些连通分量：

• 给所有图像的特征点分配一个全局唯一的索引（比如图像1的特征点从0开始，图像2的从len(kp1)开始，以此类推）。
• 遍历所有图像对的有效匹配，把匹配的两个特征点合并到同一个集合里。
• 最后每个连通分量就对应一个唯一的POI，给每个分量分配一个ID即可。

示例代码片段：

class UnionFind:
    def __init__(self, total_kps):
        self.parent = list(range(total_kps))
    
    def find(self, x):
        # 路径压缩，提升效率
        if self.parent[x] != x:
            self.parent[x] = self.find(self.parent[x])
        return self.parent[x]
    
    def union(self, x, y):
        x_root = self.find(x)
        y_root = self.find(y)
        if x_root != y_root:
            self.parent[y_root] = x_root

# 先计算所有图像的特征点总数，以及每个图像的特征点起始索引
image_kp_counts = [len(kps) for kps in all_image_keypoints]
total_kps = sum(image_kp_counts)
start_indices = [0]
for cnt in image_kp_counts[:-1]:
    start_indices.append(start_indices[-1] + cnt)

# 初始化并查集
uf = UnionFind(total_kps)

# 遍历所有重叠图像对的有效匹配
for img1_idx, img2_idx in overlapping_image_pairs:
    # 获取这对图像的最终匹配结果
    matches = get_filtered_matches(img1_idx, img2_idx)
    img1_start = start_indices[img1_idx]
    img2_start = start_indices[img2_idx]
    for m in matches:
        # 转换为全局特征点索引
        global_kp1 = img1_start + m.queryIdx
        global_kp2 = img2_start + m.trainIdx
        uf.union(global_kp1, global_kp2)

# 给每个连通分量分配唯一POI ID
poi_id_map = {}
current_poi_id = 0
for kp_global_idx in range(total_kps):
    root = uf.find(kp_global_idx)
    if root not in poi_id_map:
        poi_id_map[root] = current_poi_id
        current_poi_id += 1

3. 整理光束法平差的输入格式 #

最后把数据整理成光束法平差需要的结构：

• 每个POI对应一个列表，包含所有拍到它的图像ID、该图像中对应的像素坐标。
• 同时准备好每个图像的初始相机参数（如果有标定结果的话，没有的话可以用近似值比如焦距、主点坐标）。

这样处理后，所有对应同一个真实世界点的像素坐标都会关联到同一个POI ID，完全满足光束法平差的输入要求了。

内容的提问来源于stack exchange，提问作者D.Griffiths