将Salesforce数据实时同步至Azure Data Lake所需工具及连接方案咨询

1 支持实时摄取的核心工具 #

• Azure Data Factory（ADF）内置Salesforce CDC连接器：零/低代码方案，支持全量同步+实时增量捕获，新手友好，适合绝大多数场景
• Azure Function + Salesforce Pub/Sub API：自定义程度高，适合有特殊同步逻辑的场景，需要写少量代码
• Azure Stream Analytics：用于实时数据清洗、格式转换、字段过滤，可搭配上述捕获工具使用，处理后的数据直接写入ADLS
• Salesforce 原生CDC/Streaming API：所有Azure侧工具的实时数据来源，必须在Salesforce侧先启用

新手优先选择ADF CDC方案，无需开发自定义代码，可视化配置即可完成全量+增量实时同步，学习成本最低。

2 必须配置的连接项 #

2.1 Salesforce侧配置 #

• 先启用目标同步对象的*变更数据捕获（CDC）*功能，路径是Salesforce设置→更改数据捕获→添加需要同步的对象
• 新建 Salesforce 集成用户，分配API Enabled、View All Data、View Change Data权限，保存该用户的用户名、密码、安全令牌；如果用OAuth2认证的话还要创建连接应用拿到Client ID、Client Secret
• 确保 Salesforce 实例的API访问权限放开Azure侧的出口IP白名单，或者启用Salesforce的公共API访问权限

2.2 Azure侧配置 #

2.2.1 Azure Data Lake Storage（ADLS）Gen2 准备

• 提前创建ADLS Gen2存储账户，新建用于存放Salesforce数据的文件系统（容器），设置存储账户的访问密钥或者SAS令牌，给后续写入工具分配存储 blob 数据参与者权限
• 建议按{对象名}/{年月日}的路径规则设置数据写入目录，方便后续分层查询

2.2.2 同步工具连接配置（以ADF CDC方案为例）

• 新建ADF资源，在管理界面的链接服务中新建Salesforce类型的链接服务，选择认证方式（建议用OAuth2更安全），填入前面Salesforce侧拿到的Client ID、Client Secret、用户名、密码、安全令牌，测试连接通过
• 新建CDC资源，源选择刚才创建的Salesforce链接服务，勾选需要同步的对象，设置变更捕获的间隔（实时场景建议设置为1分钟以内）
• Sink侧选择Azure Data Lake Storage Gen2链接服务，配置写入的文件格式（建议用Parquet格式压缩存储，查询性能更高）、写入路径规则，测试连接通过

3 实时处理的必要配置 #

• 如果需要做实时数据校验、过滤、转换，可在ADF CDC的转换节点添加数据流，或者把ADF捕获的实时变更先推送到Azure事件中心，再搭配Azure流分析做实时处理后再写入ADLS
• 配置监控告警：在Azure Monitor中设置同步延迟、失败请求的告警规则，超过设置的阈值及时通知运维人员，避免实时同步中断
• 数据一致性校验：每天定时跑一次全量校验任务，对比Salesforce侧和ADLS侧的新增/变更数据条数，确保没有数据丢失

内容的提问来源于stack exchange，提问作者arushi joshi