如何在Azure ML Notebook的R内核中读取数据存储内的Parquet文件

完整实现代码 #

# 安装依赖包（首次运行时执行）
install.packages(c("azuremlsdk", "arrow", "dplyr"))

library(azuremlsdk)
library(arrow)

# 连接Azure ML工作区
subscription_id <- 'xyz'
resource_group <- 'abc'
workspace_name <- 'pqr'

ws <- get_workspace(subscription_id, resource_group, workspace_name)

# 获取目标数据存储
datastore <- get_datastore(ws, 'workspaceblobstore')

# 构建Parquet文件的完整路径并创建数据集
file_path <- paste0(datastore$path, '/UI/09-17-2022_125003_UTC/userdata1.parquet')
tabular_dataset <- create_tabular_dataset_from_parquet_files(path = file_path)

# 转换为R数据框
df <- tabular_dataset$to_dataframe()

代码说明 #

• 依赖包：azuremlsdk负责与Azure ML服务交互，arrow用于解析Parquet格式文件，这两个是核心依赖；dplyr可选，用于后续数据处理。
• 工作区连接：get_workspace()对应Python的Workspace()初始化方法，完成订阅、资源组、工作区的认证与连接。
• 数据存储获取：get_datastore()对应Python的Datastore.get()，通过工作区对象和数据存储名称定位目标存储。
• 数据集创建：create_tabular_dataset_from_parquet_files()是Azure ML R SDK中创建Parquet格式表格数据集的方法，需传入完整的存储路径。
• 数据框转换：to_dataframe()方法将Azure ML数据集转换为R原生数据框，对应Python的to_pandas_dataframe()。

内容的提问来源于stack exchange，提问作者ankit