Databricks notebook作业调度时SharePoint上传命令被跳过问题咨询

1. 认证上下文与权限差异 #

• 交互式运行时默认使用你个人的AAD账号身份，该账号已经被授予SharePoint站点的上传权限；而ADF/Databricks作业调度时，默认使用关联的服务主体身份运行，该服务主体未配置SharePoint站点访问权限时，O365客户端如果开启了静默失败配置，会直接跳过上传步骤不抛出异常。
• 排查操作：初始化O365客户端时显式开启报错开关，强制抛出所有认证/权限异常，示例配置：

from office365.runtime.auth.client_credential import ClientCredential
from office365.sharepoint.client_context import ClientContext

client_cred = ClientCredential("你的客户端ID", "你的客户端密钥")
# 显式设置throw_on_error=True，关闭静默失败
ctx = ClientContext("你的SharePoint站点地址").with_credentials(client_cred).with_throw_on_error(True)

同时在上传代码前后增加日志，打印当前运行身份信息、权限校验结果。

2. DBFS路径访问差异 #

• 交互式运行时你可能使用/dbfs/开头的本地挂载路径读取文件，部分调度作业使用的集群未开启DBFS根挂载，导致代码读取不到目标文件，触发的文件不存在异常被吞后直接跳过上传逻辑。
• 排查操作：上传前增加文件存在性校验日志，确认路径可访问，示例代码：

import os
target_file = "/dbfs/mnt/data/upload/test.csv"
print(f"调度运行时文件是否存在：{os.path.exists(target_file)}")

也可以改用Databricks原生API读取文件内容，避免对DBFS挂载的依赖：

# 用dbutils读取文件二进制内容，无需挂载路径
file_content = dbutils.fs.head("dbfs:/mnt/data/upload/test.csv", -1).encode("utf-8")

3. O365客户端认证模式配置问题 #

• O365 REST Python客户端默认优先读取缓存的交互式登录凭据，调度环境不存在交互式缓存凭据时，会静默认证失败跳过后续上传操作。
• 排查操作：强制指定使用非交互式的客户端凭据流认证，不要依赖缓存的登录信息，所有认证参数显式传入，不要硬编码或者使用getpass等交互式输入方法。

4. 运行环境依赖不一致 #

• 交互式集群安装的O365库版本、依赖包版本和调度作业使用的集群版本不一致，旧版本存在认证失败静默跳过的已知问题。
• 排查操作：在代码中打印库版本确认两边环境一致，示例代码：

import office365
print(f"当前O365库版本：{office365.__version__}")

统一将O365库升级到最新稳定版后再测试调度运行效果。

内容的提问来源于stack exchange，提问作者user3787572