Azure应用函数读取Gen1数据湖Parquet文件失败求助

1. 修正文件路径传递问题 #

adlsFileSystemClient.ls()返回的是文件路径字符串列表，而pd.read_parquet()需要单个文件路径或文件对象。如果目标路径是单个文件，直接取列表第一个元素：

# 单个文件场景：取ls返回的第一个路径
f = adlsFileSystemClient.ls('<path to my file>')[0]

2. 显式指定ADL文件系统给pandas/pyarrow #

pandas默认使用本地文件系统，需显式传入ADLFS客户端作为filesystem参数（仅pyarrow引擎支持）：

# 方法1：用pyarrow读取后转DataFrame
import pyarrow.parquet as pq
table = pq.read_table(f, filesystem=adlsFileSystemClient)
df = table.to_pandas()

# 方法2：直接用pandas指定文件系统
df = pd.read_parquet(f, filesystem=adlsFileSystemClient, engine='pyarrow')

3. 排查Azure函数权限配置 #

• 确认Azure函数的系统分配托管身份（或用户分配身份）已添加到Gen1数据湖的ACL中，至少拥有目标文件及父目录的Read权限。
• 若仍使用client_id/secret认证，检查Azure函数应用设置中是否正确配置了tenant_id、client_id、secret_key环境变量，避免硬编码或配置遗漏。

4. 统一本地与部署环境的依赖版本 #

版本不一致可能引发兼容性问题，在项目根目录创建requirements.txt明确指定版本：

azure-datalake-store==0.0.52
pandas==2.1.4
pyarrow==14.0.1

部署时确保Azure函数基于该文件安装依赖，避免自动升级到不兼容版本。

5. 修复异常捕获与日志输出 #

调整异常捕获逻辑，输出完整错误栈并确保日志能被Azure函数监测系统捕获：

import logging

try:
    df = pd.read_parquet(f, filesystem=adlsFileSystemClient, engine='pyarrow')
except Exception as e:
    logging.error(f"读取Parquet文件失败: {str(e)}", exc_info=True)  # 输出完整栈信息
    raise  # 重新抛出异常，让Azure函数在日志中展示详细错误

可在Azure门户的函数监测>日志中查看完整错误详情。

6. 直接通过文件流读取 #

若上述方法仍无效，尝试用ADLFS打开文件流后传递给pandas：

with adlsFileSystemClient.open(f, 'rb') as file_stream:
    df = pd.read_parquet(file_stream, engine='pyarrow')

内容的提问来源于stack exchange，提问作者Dariva