使用CSOM执行长任务时如何管理Token过期问题

一、Token过期问题的解决方案 #

1. 依赖MSAL自动完成Token刷新 #

不要固定使用初始获取的access token，每次创建ClientContext前，通过MSAL的AcquireTokenSilent方法从缓存获取有效Token——MSAL会自动检查Token有效期，过期时用刷新Token静默获取新的access token，无需用户交互。示例代码：

// 全局复用MSAL应用实例（不要每次请求重新创建）
var pca = PublicClientApplicationBuilder.Create(clientId)
    .WithAuthority(AzureCloudInstance.AzurePublic, tenantId)
    .Build();

// 获取当前登录账户（交互式登录后可从缓存获取）
var accounts = await pca.GetAccountsAsync();
var targetAccount = accounts.FirstOrDefault();

// 每次请求前获取有效Token
var result = await pca.AcquireTokenSilent(new[] { "https://contoso.sharepoint.com/.default" }, targetAccount)
    .ExecuteAsync();
var validAccessToken = result.AccessToken;

// 初始化ClientContext并设置授权头
using var clientContext = new ClientContext(oSite.Url);
clientContext.ExecutingWebRequest += (sender, e) =>
{
    e.WebRequestExecutor.RequestHeaders["Authorization"] = "Bearer " + validAccessToken;
};

2. 捕获权限异常并重试 #

在批量处理循环中，捕获UnauthorizedAccessException或HTTP 401状态码异常，此时重新获取Token后重试当前批次，避免整个任务中断。

3. 关于PnP PowerShell的凭据管理 #

PnP PowerShell底层依赖MSAL实现Token自动续期：交互式登录后，刷新Token会被存储到本地凭据管理器（Windows）或密钥链（macOS/Linux），每次access token过期时，MSAL会自动用刷新Token获取新的access token，无需重复登录，这也是它能持续运行数周的原因。

二、高效收集300万条文件的建议 #

1. 分页查询+精简返回字段 #

通过ListItemCollectionPosition实现分页，每次只拉取数百条数据（建议500条以内，避免超时）；同时用ViewFields指定仅需的字段（如文件路径、文件名），减少数据传输量：

var list = clientContext.Web.Lists.GetByTitle("目标文档库");
// 构建CAML查询，仅返回文件（FSObjType=0表示文件，=1表示文件夹），分页大小设为500
var camlQuery = new CamlQuery
{
    ViewXml = @"<View>
                    <ViewFields>
                        <FieldRef Name='FileRef' />
                        <FieldRef Name='FileLeafRef' />
                    </ViewFields>
                    <RowLimit>500</RowLimit>
                    <Query>
                        <Eq><FieldRef Name='FSObjType' /><Value Type='Integer'>0</Value></Eq>
                    </Query>
                </View>"
};

do
{
    var items = list.GetItems(camlQuery);
    clientContext.Load(items);
    await clientContext.ExecuteQueryAsync();
    
    // 处理当前批次的文件
    foreach (var item in items)
    {
        var filePath = item["FileRef"].ToString();
        // 执行你的处理逻辑
    }

    camlQuery.ListItemCollectionPosition = items.ListItemCollectionPosition;
} while (camlQuery.ListItemCollectionPosition != null);

2. 避免递归遍历文件夹 #

直接用CAML查询过滤所有文件（无需逐层遍历文件夹），大幅减少请求次数和处理时间。

3. 利用批量操作优化请求效率 #

如果使用PnP Core SDK，可通过批量请求（Batch）将多个查询打包发送，降低HTTP请求开销；原生ClientContext也可通过ClientContext.LoadBatch等方式批量加载数据。

4. 谨慎使用异步并行处理 #

若服务器资源充足，可将任务拆分为多个独立批次并行处理，但需控制并发数，避免触发SharePoint的请求限流机制。

内容的提问来源于stack exchange，提问作者Barbarur