使用Synapse Notebook Python写入XML字符串到Azure Data Lake Storage遇文件未找到错误

1. 确认路径格式与存储访问方式 #

首先排查路径问题，Synapse访问ADLS有两种标准路径格式，需确保拼写正确：

• ABFS直接路径：abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<文件夹路径>/output.xml
• 挂载存储路径：若已通过Synapse挂载存储，路径为/synapse/workspaces/<工作区名>/mounts/<挂载名>/<文件夹路径>/output.xml

注意：如果目标文件夹不存在，部分Python写入库不会自动创建父目录，这是触发“文件未找到”错误的常见原因，需提前确认文件夹已存在。

2. 正确处理XML字符串写入 #

to_xml()是Spark DataFrame专属方法，仅能将DataFrame转换为XML格式写入，无法直接处理自定义XML字符串。推荐两种直接写入字符串的方案：

方案一：用PySpark FileSystem API写入 #

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(spark._jsc.hadoopConfiguration())

# 自定义XML字符串
xml_content = """<root>
    <record id="1">
        <name>test_data</name>
    </record>
</root>"""

# 替换为你的目标ABFS路径
target_path = "abfss://your-container@your-storage-account.dfs.core.windows.net/your-folder/output.xml"

# 写入文件
output_stream = fs.create(spark._jvm.org.apache.hadoop.fs.Path(target_path))
output_stream.write(xml_content.encode('utf-8'))
output_stream.close()

方案二：用Azure Blob SDK写入 #

若需更灵活的控制，可使用azure-storage-blob库：

from azure.storage.blob import BlobServiceClient

# 从Synapse链接服务获取连接字符串，或使用MSI认证
connect_string = "DefaultEndpointsProtocol=https;AccountName=your-storage-account;AccountKey=your-key;EndpointSuffix=core.windows.net"

# 初始化客户端
blob_client = BlobServiceClient.from_connection_string(connect_string).get_blob_client(container="your-container", blob="your-folder/output.xml")

# 写入XML字符串，overwrite=True覆盖已有文件
blob_client.upload_blob(xml_content, overwrite=True)

3. 权限排查 #

即使在同一资源组，仍需确认权限配置：

• 给Synapse工作区的**托管服务标识（MSI）**授予ADLS容器/文件夹的Storage Blob Data Contributor角色
• 若使用服务主体访问，确保主体已被授予对应权限

4. 额外排查点 #

• 避免使用相对路径，始终用绝对路径定位目标文件
• 路径中若包含特殊字符或空格，需进行转义处理
• 检查目标文件是否被其他进程锁定，导致无法写入

内容的提问来源于stack exchange，提问作者Sam