如何通过Azure ML CLI v2基于MLTable创建带列转换的数据资产？

1. YML配置文件中的路径指定 #

两种路径指定方式都支持，可根据实际场景选择：

• 完整路径：适合单文件或固定路径的场景，直接指向Blob存储中特定的Parquet文件，格式示例：

  path: azureml://datastores/<your-datastore-name>/paths/your/fixed/path/file.parquet
  

• 文件匹配模式：适合批量读取同目录下的多个Parquet文件，支持通配符*匹配，格式示例：

  path: azureml://datastores/<your-datastore-name>/paths/your/parquet-folder/*.parquet
  

完整的YML配置示例：

$schema: https://azuremlschemas.azureedge.net/latest/data.schema.json
name: parquet-data-asset
version: 1
type: mltable
path: azureml://datastores/my-blob-datastore/paths/parquet-dataset/*.parquet

2. MLTable中配置Parquet日期列转时间戳 #

通过MLTable的transformations节点可以定义数据读取时的列转换规则，针对你的日期格式%Y-%m%d %H:%M:%S，配置示例如下：

paths:
  - .  # 表示当前目录下的Parquet文件，可替换为具体路径
transformations:
  - read_parquet:
      include_path_column: false
  - parse_dates:
      columns:
        - name: target_date_column  # 替换为你的日期列名
          format: "%Y-%m%d %H:%M:%S"
          output_type: timestamp[ns]  # 转换后的时间戳类型，支持ns/us/ms等精度

• 说明：
  • paths指定Parquet文件所在路径，.代表MLTable文件所在的当前目录
  • parse_dates节点专门用于日期列解析，format严格匹配你的日期字符串格式
  • output_type可根据需求调整，如timestamp[ms]表示毫秒级时间戳

内容的提问来源于stack exchange，提问作者Ken Jiiii