如何在Azure Data Factory中构建Oracle到Neo4j图数据库的数据管道？

一、前期准备 #

• 确认Azure Data Factory实例已创建，且具备访问Oracle数据库和Neo4j服务的权限
• 配置Oracle链接服务：在ADF中新建Oracle链接服务，填写数据库服务器地址、端口、SID/服务名、账号密码，测试连接确保可用
• 配置Neo4j链接服务：新建Neo4j链接服务，输入Neo4j的URI（例如bolt://xxx:7687）、账号密码，测试连接通过

二、将Oracle数据转换为JSON（适配Neo4j结构，推荐操作） #

有两种简便实现方式：

方法1：借助ADF数据流转换 #

1. 新建数据流，添加Oracle数据源，选择需要同步的表或视图
2. 添加派生列转换：按照Neo4j节点/关系的结构，将Oracle字段组合成JSON格式。例如生成节点JSON的表达式可写为：

   {
     "id": toString(id),
     "name": name,
     "email": email
   }
   

3. 添加接收器，选择JSON格式，将转换后的数据存储到Azure Blob Storage或ADLS Gen2作为中间存储

方法2：Oracle查询直接生成JSON #

在Oracle数据源的查询语句中，使用Oracle内置的JSON_OBJECT函数直接输出JSON格式数据，示例查询：

SELECT JSON_OBJECT(
         'id' VALUE id,
         'name' VALUE name,
         'email' VALUE email
       ) AS node_json
FROM your_oracle_table

三、通过复制活动将JSON数据写入Neo4j #

1. 新建管道，添加复制活动
2. 配置复制活动的源：
   • 若使用数据流生成的JSON文件，选择Azure Blob Storage/ADLS Gen2作为源链接服务，指定JSON文件路径
   • 若使用Oracle查询生成的JSON，直接选择Oracle链接服务，填入上述生成JSON的查询语句
3. 配置复制活动的接收器：
   • 选择之前创建的Neo4j链接服务
   • 在复制行为中选择插入或插入/更新：若选插入/更新，需指定Neo4j节点的唯一标识属性（如id），确保重复数据会被更新而非重复插入
   • 在映射选项卡中，将源的JSON字段映射到Neo4j的节点/关系属性。源为JSON对象可直接映射；若为数组，可配置为批量创建节点
4. 配置运行时：选择合适的集成运行时（自托管或托管），确保能同时访问Oracle和Neo4j

四、测试与调度 #

• 手动运行管道，检查Neo4j中数据是否成功插入/更新
• 配置管道触发器（如定时触发器），实现数据定期同步

内容的提问来源于stack exchange，提问作者Shubhika Tiwari