如何无需CData，使用IBM DataStage连接MS CRM Dataverse

完全可以在迁移到Dynamics 365 SaaS后继续使用IBM DataStage完成数据抽取与转换，以下是两种无需依赖CData的实践方案：

方案一：通过Dataverse OData v4 API连接DataStage #

这是最直接的原生方案，DataStage自带OData连接器支持v4版本，可直接对接Dataverse：

1. 获取Dataverse OData端点与实体信息

   • 登录Dynamics 365后台，进入「设置 > 自定义 > 开发人员资源」，复制OData v4终结点URL，格式为：https://<你的组织域名>.crm.dynamics.com/api/data/v9.2/
   • 确认目标实体的集合名称（如账户实体为accounts），可通过在浏览器中访问{OData端点}/{实体名}验证数据返回

2. 配置DataStage OData连接器

   • 打开DataStage Designer，新建作业并拖入OData Connector组件
   • 连接属性配置：
     • 选择OData Version 4.0
     • 粘贴获取的OData端点URL
     • 认证方式选择OAuth 2.0，填入以下参数：
       • 授权类型：Client Credentials（无人值守定时任务优先选此类型）
       • 客户端ID：在Azure AD注册应用后获取（需为该应用分配Dataverse的crm.read应用权限）
       • 客户端密钥：Azure AD应用生成的客户端密码
       • 令牌URL：https://login.microsoftonline.com/<你的租户ID>/oauth2/v2.0/token
       • 范围：https://<你的组织域名>.crm.dynamics.com/.default
   • 点击「测试连接」，确认可正常访问Dataverse实体

3. 数据抽取与转换配置

   • 在OData连接器中选择目标实体，或输入自定义OData查询实现过滤/投影（例如：$select=name,accountid&$filter=modifiedon ge 2024-01-01T00:00:00Z）
   • 连接Transformer等转换组件完成数据清洗、字段映射
   • 配置增量抽取逻辑：利用实体的modifiedon字段，每次只抽取上次作业运行后更新的数据，降低资源消耗

方案二：通过DataStage REST API连接器调用Dataverse Web API #

如果OData连接器无法满足复杂查询需求，可直接调用Dataverse Web API：

1. 前置准备

   • 同方案一，在Azure AD注册应用并分配Dataverse读取权限，获取客户端ID、密钥、租户ID

2. 配置DataStage REST API连接器

   • 拖入REST API Connector组件到作业中
   • 认证配置选择OAuth 2.0 Client Credentials，填入令牌URL、客户端ID、密钥、范围
   • 请求配置：
     • 请求方法：GET
     • 请求URL：例如https://<你的组织域名>.crm.dynamics.com/api/data/v9.2/accounts?$select=name,accountid,modifiedon&$top=1000
     • 响应格式选择JSON，并映射响应结构到DataStage的输出列

3. 后续处理

   • 同方案一，完成转换后输出到目标存储，供Cognos Analytics生成报表

关键注意事项 #

• 权限配置：Azure AD应用必须分配足够的Dataverse权限，应用权限（而非委托权限）更适合DataStage的无人值守定时任务
• 性能优化：大数据量场景下，使用OData的$top/$skip分页，或借助Dataverse的「导出到数据湖」功能先同步数据到Azure Data Lake Storage，再用DataStage读取，提升抽取效率
• 调度保持：沿用原有DataStage定时调度机制（如IBM InfoSphere Control Desk），维持每晚抽取的业务流程

备选方案（CData途径） #

若上述原生方案存在兼容性问题，可考虑使用CData的Dataverse连接器，它提供更简化的配置流程与更丰富的功能支持，但需要购买授权。

内容的提问来源于stack exchange，提问作者Mark Nolan