Azure Web Job连接Data Lake遇OSError无效参数，求解决方案

你遇到的OSError: [Errno 22] Invalid argument本质是因为Pandas的默认IO工具不认识adl://这种Azure Data Lake Storage (ADLS) Gen1的路径协议。要让Web Job正确访问ADLS里的文件，得先配置好ADLS的认证与文件访问方式，下面是两种实用的解决方案：

方案1：通过ADLS Python SDK手动处理文件传输 #

这种方法先把ADLS里的Excel文件下载到Web Job的临时目录，处理完CSV后再上传回ADLS，逻辑直观，适合对文件操作有明确控制需求的场景。

步骤1：安装依赖 #

先在Web Job的环境中安装所需的包，可以创建一个requirements.txt文件，内容如下：

pandas>=2.0.0
azure-datalake-store>=0.0.52
openpyxl>=3.1.2  # 读取xlsx格式必须的依赖

步骤2：编写带认证的处理脚本 #

import pandas as pd
import os
from azure.datalake.store import core, lib

# 从Web App应用设置中读取认证信息（不要硬编码！）
tenant_id = os.environ.get("ADLS_TENANT_ID")
client_id = os.environ.get("ADLS_CLIENT_ID")
client_secret = os.environ.get("ADLS_CLIENT_SECRET")
adls_account_name = "DLstorename"

# 建立ADLS连接
adl_creds = lib.auth(
    tenant_id=tenant_id,
    client_secret=client_secret,
    client_id=client_id,
    resource='https://datalake.azure.net/'
)
adls_fs = core.AzureDLFileSystem(adl_creds, store_name=adls_account_name)

# 1. 下载ADLS中的Excel文件到本地临时目录
local_excel = "./temp_excel.xlsx"
with adls_fs.open('/filename.xlsx', 'rb') as adls_file:
    with open(local_excel, 'wb') as local_file:
        local_file.write(adls_file.read())

# 2. 读取Excel并转换为CSV
df = pd.read_excel(local_excel, sheet_name='sheet1', header=0)
local_csv = "./output.csv"
df.to_csv(local_csv, encoding='utf-8', index=False)

# 3. 上传CSV回ADLS目标路径
adls_csv_path = "/path/output.csv"
with adls_fs.open(adls_csv_path, 'wb') as adls_file:
    with open(local_csv, 'rb') as local_file:
        adls_file.write(local_file.read())

关键配置提示 #

• 把ADLS_TENANT_ID、ADLS_CLIENT_ID、ADLS_CLIENT_SECRET添加到Web App的应用设置中（Azure Portal -> Web App -> 配置 -> 应用设置），避免敏感信息暴露在代码里。

方案2：用fsspec+adlfs让Pandas直接支持adl://路径 #

这个方案可以让Pandas直接读写ADLS路径，无需手动下载上传，代码更简洁。

步骤1：安装依赖 #

更新requirements.txt：

pandas>=2.0.0
adlfs>=2023.1.0
openpyxl>=3.1.2

步骤2：编写简化版脚本 #

import pandas as pd
import os
import adlfs

# 从应用设置读取认证信息
os.environ['AZURE_TENANT_ID'] = os.environ.get("ADLS_TENANT_ID")
os.environ['AZURE_CLIENT_ID'] = os.environ.get("ADLS_CLIENT_ID")
os.environ['AZURE_CLIENT_SECRET'] = os.environ.get("ADLS_CLIENT_SECRET")

# 直接用adl路径读写
df = pd.read_excel('adl://DLstorename/filename.xlsx', sheet_name='sheet1', header=0)
df.to_csv('adl://DLstorename/path/output.csv', encoding='utf-8', index=False)

原理是adlfs库会注册adl://协议的文件系统支持，Pandas调用IO函数时会自动识别并使用ADLS的认证方式访问文件。

额外注意事项 #

• Web Job的运行环境需要有足够的临时存储空间来处理文件（一般默认的临时目录足够，除非Excel文件特别大）。
• 如果使用ADLS Gen2，路径格式是abfss://<container>@<account>.dfs.core.windows.net/<path>，对应的库是azure-storage-file-datalake，配置逻辑类似。

内容的提问来源于stack exchange，提问作者Parnika