Azure Data Factory数据集：何时需导入架构及原因解析？

一、为何有时自动导入架构，有时不？ #

• 数据源结构特性：如果Blob中的文件是带元数据的结构化格式（如Parquet、带表头的CSV），ADF能自动读取文件元数据或表头，从而自动导入架构；如果是无固定结构的文件（如纯文本、无固定字段的JSON、无表头的CSV），ADF无法自动识别结构，就不会导入。
• 数据集配置限制：若数据集使用了参数化设置（比如文件名、容器路径用参数动态指定），ADF无法确定具体要读取的文件，自然无法自动获取架构；另外，如果连接服务没有Blob容器的读取权限，ADF无法访问文件内容，也不会导入架构。
• 文件状态问题：当Blob容器中还没有对应文件，或者文件是空文件时，ADF没有可读取的内容来提取架构，不会自动导入；如果文件是后续动态生成的，创建数据集时文件不存在，也不会自动导入。
• 格式配置差异：比如CSV文件若未勾选“第一行作为表头”，ADF无法识别列名，不会自动导入架构；而Parquet这类自带列类型元数据的格式，ADF会直接读取元数据自动导入。

二、何时需要手动点击“导入架构”按钮？ #

• 参数化数据集场景：当数据集用参数动态指定文件路径/名称时，ADF无法定位到具体示例文件，需手动点击导入（此时可临时指定一个示例文件来获取架构，之后再恢复参数配置）。
• 文件结构更新后：当Blob中的文件字段、类型发生变化时，原数据集的架构已过时，需要点击导入架构来同步最新的结构。
• 未自动识别的结构化文件：比如CSV文件已包含表头但ADF未自动识别，或自定义格式的结构化文件，手动导入可确保架构准确。
• 初始创建时无文件：创建数据集时Blob中还没有目标文件，后续上传文件后，需手动导入来获取架构。
• 无默认元数据的格式：对于无自带元数据的文件（如无表头的CSV），手动导入可以定义或提取正确的列结构。

内容的提问来源于stack exchange，提问作者Anubhav