如何将文件层次结构的元数据存储到ADF中的SQL表或CSV文件中？

在ADF中存储文件层次结构的元数据可以使用以下步骤：

1. 使用递归函数获取文件夹中所有文件和子文件夹的路径和元数据。

示例代码：

def get_metadata(filepath):
    metadata = {}
    metadata['filename'] = os.path.basename(filepath)
    metadata['path'] = os.path.dirname(filepath)
    metadata['extension'] = os.path.splitext(filepath)[1]
    metadata['size'] = os.path.getsize(filepath)
    metadata['last_modified'] = os.path.getmtime(filepath)
    if os.path.isdir(filepath):
        metadata['type'] = 'folder'
        metadata['children'] = [get_metadata(os.path.join(filepath, f)) for f in os.listdir(filepath)]
    else:
        metadata['type'] = 'file'
    return metadata

metadata = get_metadata('/path/to/folder')

2. 将元数据存储到 SQL 表中。

可以使用 ADF 的 Mapping Data Flow，使用 Source 和 Sink 连接器来读取和写入数据。使用 Derived Column 转换器可以增加和修改列。使用 Flatten 转换器可以将嵌套的元数据展平，使其适合于表格结构。以下是一个 SQL 表的示例架构：

CREATE TABLE metadata (
  id INT IDENTITY(1,1),
  filename VARCHAR(255),
  path VARCHAR(255),
  extension VARCHAR(255),
  size BIGINT,
  last_modified DATETIME,
  type VARCHAR(10),
  parent_id INT,
  PRIMARY KEY (id),
  FOREIGN KEY (parent_id) REFERENCES metadata (id)
);

示例代码：

metadata_df = spark.createDataFrame([metadata])
metadata_df.write.jdbc(
  url='jdbc:sqlserver://server.database.windows.net;database=database',
  table='metadata',
  mode='append',
  properties={
    'user': 'username',
    'password': 'password',
    'driver': 'com.microsoft.sqlserver.jdbc.SQLServerDriver'
  }
)

3. 将元数据存储到 CSV 文件中。

可以使用 ADF 的 Copy Data 活动，使用 Source 和 Sink 连接器来读取和写入数据。以下是一个 CSV 文件的示例格式：

filename,path,extension,size,last_modified,type,parent_id
file1.txt,/path/to/folder,.txt,12345,2021-01-01 00:00:00,file,null
folder1,/path/to/folder,,null,null,folder,null
file2.txt,/path