如何在Oracle数据库中自动检测N×M关系以完成MongoDB迁移？

问题背景 #

我正在编写一个Python脚本，用于读取Oracle数据库的数据，生成能在MongoDB中创建同名数据库并导入对应数据的脚本。处理N:1关系时比较简单，但在自动检测N×M关系并确定正确插入顺序上遇到了困难，想知道有没有自动实现的方法。

补充示例 #

以人员（person）与组（groups）的M×N关系为例：

• SQL中通过3张表实现：人员表、组表、中间关联表（存储人员与组的对应关系）
• MongoDB中采用交叉引用方式，将关联的文档ID存入数组字段（比如person文档中包含groups数组，存储所属组的文档ID；或groups文档中包含persons数组，存储组内人员的文档ID）
• 插入操作示例（MongoDB Shell命令）：

var doc = db.groups.findOne({name: "IT course"});
db.person.insert({name: "Chris", courses: [doc._id]});

自动实现思路与方法 #

1. 从Oracle元数据识别N×M关系 #

Oracle系统表可直接提取关系信息，核心是识别中间关联表：这类表仅含两个外键字段，分别关联两个业务表，且这两个字段共同构成主键。

用Python+cx_Oracle查询系统表的示例代码：

import cx_Oracle

def detect_many_to_many(conn):
    cursor = conn.cursor()
    # 查询所有多对多关联的中间表及对应业务表
    query = """
    SELECT 
        DISTINCT
        cc1.table_name AS table_a,
        cc2.table_name AS table_b,
        c.table_name AS join_table
    FROM USER_CONSTRAINTS c
    JOIN USER_CONS_COLUMNS cc1 ON c.constraint_name = cc1.constraint_name
    JOIN USER_CONS_COLUMNS cc2 ON c.constraint_name = cc2.constraint_name
    WHERE c.constraint_type = 'P'
      AND cc1.column_name != cc2.column_name
      AND EXISTS (
          SELECT 1 FROM USER_CONSTRAINTS fc
          WHERE fc.table_name = c.table_name AND fc.constraint_type = 'R'
      )
    GROUP BY c.table_name, cc1.table_name, cc2.table_name
    HAVING COUNT(*) = 2
    """
    cursor.execute(query)
    return cursor.fetchall()

2. 确定插入顺序 #

多对多关系的插入必须遵循先业务表，后关联更新的顺序：

• 第一步：先将两个业务表（如person、groups）的所有数据插入MongoDB，同时记录Oracle主键与MongoDB _id的映射（用字典存储，比如oracle_mongo_map = {"person": {1: ObjectId("xxx"), ...}, "groups": {...}}）
• 第二步：读取Oracle中间关联表的记录，通过映射关系找到对应的MongoDB ID，更新业务文档的关联数组字段（比如给person文档添加对应groups的_id数组）

3. 自动化流程示例 #

# 伪代码示例
def process_many_to_many(oracle_conn, mongo_client, join_info):
    table_a, table_b, join_table = join_info
    # 1. 插入业务表数据并记录映射
    map_a = insert_table_to_mongo(oracle_conn, mongo_client, table_a)
    map_b = insert_table_to_mongo(oracle_conn, mongo_client, table_b)
    
    # 2. 读取中间表关联数据
    cursor = oracle_conn.cursor()
    cursor.execute(f"SELECT person_id, group_id FROM {join_table}")
    relations = cursor.fetchall()
    
    # 3. 更新MongoDB文档的关联字段
    mongo_db = mongo_client.get_database("your_db")
    for person_id, group_id in relations:
        mongo_person_id = map_a[person_id]
        mongo_group_id = map_b[group_id]
        # 更新person文档的groups数组
        mongo_db.person.update_one(
            {"_id": mongo_person_id},
            {"$push": {"groups": mongo_group_id}}
        )

工具替代方案 #

如果不想手动实现逻辑，可直接用成熟工具：

• MongoDB官方Oracle连接器：自动识别Oracle表关系，将多对多关系转换为MongoDB的数组引用结构
• Apache NiFi：可视化配置数据流，通过组件完成Oracle数据抽取、关系转换与MongoDB导入

内容的提问来源于stack exchange，提问作者Hugo-Cruz