Mule4：使用parallel-foreach结合Offset、LIMIT批量查询Salesforce

*注意：

1. 你示例中的偏移量计算存在错误：按每批500条的设置，第二个批次的OFFSET应为500而非1000，否则会漏掉500~999区间的记录
2. Salesforce原生SOQL的OFFSET参数最大仅支持2000，若偏移量超过该值会直接报错，该方案仅适合小批量数据场景，处理50万级记录建议用下文的主键分块方案替代*

1. 生成分块参数列表 #

先执行SELECT count() FROM Account获取总记录数，再按你设定的单批查询上限queryLimit生成所有待查询的偏移量列表，示例生成逻辑（C#）：

int totalRecordCount = 2000; // 实际取值自count查询的返回结果
int queryLimit = 500;
List<int> offsetList = new List<int>();
for (int offset = 0; offset < totalRecordCount; offset += queryLimit)
{
    offsetList.Add(offset);
}

2. 用Parallel.ForEach执行并行查询 #

配置合适的并行度（避免超过Salesforce API并发请求限制，建议设置为5~10），遍历偏移量列表执行查询即可：

var parallelOptions = new ParallelOptions
{
    // 控制并行请求数，避免触发Salesforce流控
    MaxDegreeOfParallelism = 8
};

Parallel.ForEach(offsetList, parallelOptions, currentOffset =>
{
    string soql = $"SELECT Name FROM Account LIMIT {queryLimit} OFFSET {currentOffset}";
    // 调用Salesforce API执行SOQL查询
    var queryResult = salesforceClient.Query(soql);
    // 自行实现当前批次的记录处理逻辑
    ProcessAccountRecords(queryResult.Records);
});

OFFSET仅支持到2000的限制无法满足50万条数据的分块需求，建议改用Salesforce PK Chunking（主键分块）方案：

• 开启SOQL查询的PK Chunking功能，平台会自动按Account的主键Id将全量数据拆分为多个分块
• 每个分块用SELECT Name FROM Account WHERE Id > :lastBatchMaxId LIMIT 2000的逻辑查询，完全规避OFFSET的上限限制
• 拆分得到的所有分块任务同样可以用Parallel.ForEach并行执行，处理效率更高也更稳定

内容的提问来源于stack exchange，提问作者Xullibeut Xallibeut