ADLS Gen2数据流写入Parquet文件异常：扩展名未识别问题求助

1. 检查文件扩展名与写入配置 #

• 确认数据流写入ADLS Gen2的文件命名规则，确保输出文件扩展名严格为.parquet，避免拼写错误（如.parq、.parquet_temp）或多余后缀。
• 在数据流写入设置中，确认文件格式明确选择Parquet，排除误选CSV、JSON等其他格式导致的格式不匹配。

2. 验证数据转换的兼容性 #

• 排查转换逻辑中是否存在Parquet不支持的数据类型：比如数据库特有的复杂类型（如Oracle RAW、SQL Server hierarchyid），需转换为Parquet兼容类型（二进制、字符串等）。
• 清理转换后数据中的异常值：比如含不可打印字符的字段、超出列定义长度的超大文本，可通过数据流的Derived Column或Filter组件处理。

3. 检查ADLS Gen2存储配置与权限 #

• 确认写入的容器路径正确，避免写入错误目录导致文件被篡改或路径解析异常。
• 验证执行数据流的服务主体拥有ADLS Gen2的写入+读取权限（至少Storage Blob Data Contributor角色），权限不足可能导致文件写入不完整。

4. 排查Parquet文件完整性 #

• 使用parquet-tools工具检查文件结构：

  parquet-tools inspect sample.parquet
  

  若工具无法解析，说明文件已损坏，需重新触发数据流运行，确保过程无中断。
• 查看数据流运行日志，确认写入阶段是否有超时、分片失败等警告或错误记录。

5. 调整写入优化设置 #

• 在Parquet写入设置中启用合并小文件，减少碎片化文件数量，降低解析异常概率。
• 切换压缩格式（优先用Snappy、Gzip），避免使用Parquet标准不兼容的压缩算法。

内容的提问来源于stack exchange，提问作者Pujari Balakrishna