如何便捷可维护地将MongoDB分离式Schema与数据同步至SQL Server？

背景信息 #

我正在推进一个数据管道项目，目标是将MongoDB中的文档同步至SQL Server，但这里的Schema文档与数据文档是分离存储的，具体格式如下：

Schema文档格式 #

{
    "schema_id": "someHex",
    "key_map": [
        {
            "key": "a",
            "column_name": "colName1",
            "type": "Int"
        },
        {
            "key": "b",
            "column_name": "colName2",
            "type": "String"
        },
        {
            "key": "c",
            "column_name": "colName3",
            "type": "Boolean"
        }
    ]
}

数据文档格式 #

{
    "data_id": "someHex",
    "schema_id": "someHex",
    "data": [
        {
            "key": "a",
            "value": 252
        },
        {
            "key": "b",
            "value": "some_string"
        },
        {
            "key": "c",
            "value": true
        }
    ]
}

目标SQL Server表结构 #

现有实现流程 #

目前我已经落地的同步路径是：MongoDB -> Airbyte -> S3 -> Lambda -> SQL Server
具体操作是通过Airbyte将MongoDB数据同步到S3，再用AWS Lambda函数把JSON文件转换成列格式后推送到SQL Server。

需求与问题 #

我希望找到更便捷、可维护的方案，直接借助Fivetran、Airbyte这类工具完成同步，以此复用它们自带的错误管理等功能。但调研多款开源工具后，未发现能直接处理这种Schema与数据文档分离场景的工具，恳请提供技术支持。

内容的提问来源于stack exchange，提问作者NeroM1