使用shareplum将文件从SharePoint复制到ADLS的保存问题
首先先修正你代码里的导入语句错误,原代码的import顺序写反了,正确写法如下:
from shareplum import Office365 from shareplum.site import Site, Version import requests
你已经成功通过folder.get_file(fileName)获取到文件的字节对象,接下来可以通过以下两种方式将其保存到ADLS:
方法一:直接用dbutils写入字节对象
Databricks的dbutils.fs.put支持直接写入字节内容,只要指定正确的ADLS路径即可:
fileName = "sharepoint file name" # ADLS路径可以是dbfs挂载路径或ABFSS格式,例如 "/dbfs/mnt/adls/目标文件夹/" 或 "abfss://container@storageaccount.dfs.core.windows.net/目标路径/" adls_full_path = f"{path}/{fileName}" # 写入字节对象到ADLS,overwrite=True可覆盖已存在文件 dbutils.fs.put(adls_full_path, file, overwrite=True)
这种方式适合大多数中小文件,无需本地临时文件中转。
方法二:临时文件中转(适合大文件)
如果是大文件,先写入本地临时文件再上传到ADLS会更稳定:
import tempfile import os fileName = "sharepoint file name" adls_full_path = f"{path}/{fileName}" # 将字节对象写入本地临时文件 with tempfile.NamedTemporaryFile(delete=False) as temp_f: temp_f.write(file) temp_path = temp_f.name # 上传临时文件到ADLS dbutils.fs.cp(f"file:{temp_path}", adls_full_path, overwrite=True) # 清理本地临时文件 os.unlink(temp_path)
注意事项:
- 确保你的Databricks集群已配置好ADLS的访问权限(比如挂载点或服务 principal 权限)
- 所有类型的文件(CSV、图片、PPT、DOCX)都是二进制格式,直接写入字节对象即可,无需额外编码转换
内容的提问来源于stack exchange,提问作者J. Doe
相关产品推荐
相关产品推荐

