C#中如何记录检查点处理foreach剩余数据及SharePoint列表续跑

刚好之前做过类似的SharePoint批量文件处理需求，断点续传的核心其实就是把处理进度持久化下来，避免每次都从头跑。我给你拆解一下具体怎么做：

要实现中断后续跑，必须把每次处理完的最后一条记录标识（比如Item的ID、UniqueId或者文件路径）存到一个可靠的地方——本地文本文件、数据库，甚至SharePoint自己的配置列表都可以，完全看你的部署环境。

你的现有CAML是全量拉取所有文件，但断点续传时我们不需要重复处理已经完成的内容。可以修改CAML，加入过滤条件，基于上次的检查点筛选出未处理的文件。

比如用Item的ID作为检查点（SharePoint的ID是自增唯一的，非常适合做进度标记），修改后的CAML代码如下：

// 从检查点获取上次最后处理的Item ID，比如从本地文件读取
int lastProcessedItemId = GetLastProcessedItemId();

CamlQuery camlQuery = new CamlQuery();
camlQuery.ViewXml = $@"
<View Scope='RecursiveAll'>
  <Query>
    <Where>
      <Gt>
        <FieldRef Name='ID' />
        <Value Type='Number'>{lastProcessedItemId}</Value>
      </Gt>
    </Where>
    <OrderBy>
      <FieldRef Name='ID' Ascending='True' />
    </OrderBy>
  </Query>
</View>";
camlQuery.FolderServerRelativeUrl = folder.ServerRelativeUrl;
ListItemCollection listItems = list.GetItems(camlQuery);
clientContext.Load(listItems);
clientContext.ExecuteQuery();

这段代码会只拉取ID大于上次最后处理ID的文件，确保每次只处理未完成的部分。

在处理每个ListItem的时候，我们需要在处理完成后立即更新检查点——可以选择逐记录更新（可靠性最高），或者批量更新（减少IO操作，适合大数据量）。

给你一个逐记录更新的示例，能最大程度避免进度丢失：

// 先加载上次的检查点
int lastProcessedId = GetLastProcessedItemId();

foreach (ListItem item in listItems)
{
    try
    {
        // 这里替换成你的实际文件处理逻辑：下载、解析、修改等
        ProcessListItem(item);

        // 处理成功后，立刻更新检查点
        lastProcessedId = item.Id;
        SaveLastProcessedItemId(lastProcessedId);
    }
    catch (Exception ex)
    {
        // 异常处理：可以选择跳过当前记录，或者终止程序
        // 建议把失败的记录单独存到错误日志，后续单独处理
        Console.WriteLine($"处理Item {item.Id}失败: {ex.Message}");
        SaveFailedItemId(item.Id);
        
        // 如果不想跳过，直接抛出异常终止程序，下次启动会从上次成功的检查点继续
        // throw;
    }
}

然后实现检查点的读写方法，这里用本地文本文件举例（简单易实现）：

private int GetLastProcessedItemId()
{
    string checkpointPath = "last_processed_id.txt";
    if (File.Exists(checkpointPath))
    {
        string content = File.ReadAllText(checkpointPath);
        if (int.TryParse(content, out int id))
        {
            return id;
        }
    }
    // 第一次运行或文件无效时，返回0（SharePoint的ID从1开始）
    return 0;
}

private void SaveLastProcessedItemId(int id)
{
    string checkpointPath = "last_processed_id.txt";
    File.WriteAllText(checkpointPath, id.ToString());
}

• 列表视图阈值：如果你的文件数量超过5000条，SharePoint会触发列表视图阈值限制，这时候需要结合CAML的RowLimit和ListItemCollectionPosition做分页查询，不然会报错。可以参考下面的分页逻辑：

CamlQuery camlQuery = new CamlQuery();
camlQuery.ViewXml = $@"
<View Scope='RecursiveAll'>
  <Query>
    <Where>
      <Gt>
        <FieldRef Name='ID' />
        <Value Type='Number'>{lastProcessedItemId}</Value>
      </Gt>
    </Where>
    <OrderBy>
      <FieldRef Name='ID' Ascending='True' />
    </OrderBy>
  </Query>
  <RowLimit>1000</RowLimit>
</View>";

do
{
    ListItemCollection listItems = list.GetItems(camlQuery);
    clientContext.Load(listItems);
    clientContext.ExecuteQuery();

    foreach (ListItem item in listItems)
    {
        // 处理逻辑+检查点更新...
    }

    // 设置下一页的查询位置
    camlQuery.ListItemCollectionPosition = listItems.ListItemCollectionPosition;
} while (listItems.ListItemCollectionPosition != null);

• 并发安全：如果有多个程序实例同时运行，要给检查点文件加锁，避免进度冲突；如果是多机器部署，建议用数据库存储检查点。
• 失败记录处理：单独记录处理失败的Item ID，避免下次重复处理，同时方便后续排查问题。

内容的提问来源于stack exchange，提问作者Neo