将OpenStreetMap数据导入MongoDB后创建2dsphere索引失败求助

问题根源 #

OSM的面状要素（如湖泊）导出的GeoJSON常存在以下不符合MongoDB 2dsphere索引要求的问题：

• Polygon/MultiPolygon的环首尾节点不重合（未闭合）
• 环内存在重复连续节点
• 几何结构不符合GeoJSON标准（比如环的节点数量不足）

操作步骤优化与数据清洗方案 #

1. 调整Overpass查询输出 #

原查询用out geom直接输出几何信息，容易忽略关系型要素的结构逻辑，建议改为以下查询，让工具更规范地处理复杂面结构：

[out:json][timeout:600];
area["ISO3166-1"="PL"][admin_level=2];
(way["natural"="water"]["water"="lake"](area);
 relation["natural"="water"]["water"="lake"](area);
);
out body;
>;
out skel qt;

该查询会导出完整的节点、路径、关系数据，让osmtogeojson能正确解析Multipolygon等复杂要素。

2. 批量GeoJSON清洗脚本 #

用Python结合shapely库修复几何问题，以下是可直接运行的清洗脚本：

import json
from shapely.geometry import shape, mapping
from shapely.validation import make_valid

def clean_geojson_feature(feature):
    try:
        # 解析并修复无效几何
        geom = shape(feature['geometry'])
        valid_geom = make_valid(geom)

        # 处理Polygon类型：闭合环+去重连续节点
        if valid_geom.type == 'Polygon':
            # 确保外环和所有内环首尾闭合
            cleaned_rings = []
            for ring in [valid_geom.exterior] + list(valid_geom.interiors):
                # 闭合环
                if not ring.is_closed:
                    ring_coords = list(ring.coords)
                    ring_coords.append(ring_coords[0])
                else:
                    ring_coords = list(ring.coords)
                # 去重连续重复节点
                dedup_coords = []
                for coord in ring_coords:
                    if not dedup_coords or coord != dedup_coords[-1]:
                        dedup_coords.append(coord)
                # 跳过节点数不足的无效环（闭合后至少需要4个节点）
                if len(dedup_coords) >= 4:
                    cleaned_rings.append(dedup_coords)
            if cleaned_rings:
                valid_geom = type(valid_geom)(cleaned_rings[0], cleaned_rings[1:])
            else:
                return None

        # 处理MultiPolygon类型：递归清洗子Polygon
        elif valid_geom.type == 'MultiPolygon':
            cleaned_polygons = []
            for poly in valid_geom.geoms:
                cleaned_poly = clean_geojson_feature({'geometry': mapping(poly)})
                if cleaned_poly:
                    cleaned_polygons.append(shape(cleaned_poly['geometry']))
            if cleaned_polygons:
                valid_geom = type(valid_geom)(cleaned_polygons)
            else:
                return None

        # 更新feature的几何数据
        feature['geometry'] = mapping(valid_geom)
        return feature
    except Exception as e:
        print(f"跳过无效feature: {e}")
        return None

# 读取原始GeoJSON并执行清洗
with open('output.geojson', 'r') as f:
    raw_features = json.load(f)

cleaned_features = [feat for feat in map(clean_geojson_feature, raw_features) if feat is not None]

# 保存清洗后的文件
with open('cleaned_output.geojson', 'w') as f:
    json.dump(cleaned_features, f)

依赖安装：pip install shapely

3. 验证几何有效性 #

用MongoDB内置命令验证单个文档的几何是否符合要求：

db.your_collection.findOne({
  $expr: {
    $geoValidate: {
      geometry: "$geometry",
      crs: { type: "name", properties: { name: "EPSG:4326" } }
    }
  }
})

返回true则说明几何结构符合2dsphere索引要求。

4. 重新导入并创建索引 #

使用清洗后的文件重新导入：

mongoimport -d <db> -c <col> --file cleaned_output.geojson --jsonArray -j 4 --batchSize=1000

创建2dsphere索引：

db.your_collection.createIndex({ geometry: "2dsphere" })

替代工具推荐 #

• osmium-tool：直接处理OSM原始数据，自动修复面的闭合问题，导出标准GeoJSON：

  osmium export input.osm -o output.geojson --geometry-types=polygon --attributes=tags
  

内容的提问来源于stack exchange，提问作者Łukasz