Dataset空参数问题:如何配置compression_type读取未压缩XML文件
解决方案
你需要在compression_type参数中填入none(全小写,无额外引号)即可读取未压缩的.xml文件,无需删除该参数即可同时兼容两类文件的处理逻辑。
适配逻辑说明
绝大多数ETL工具、大数据处理框架(如Spark XML读取器、通用数据集成组件)的compression_type参数都遵循标准枚举值规范:
- 处理
.xml.gz/.xml.gzip格式文件时传值gzip - 处理普通未压缩
.xml文件时传值none
之前空值不被接受是因为组件参数校验要求必须传入枚举范围内的有效值,空值不在合法枚举列表中,因此触发校验报错。如果none在你的环境中不生效,可尝试替换为uncompressed测试,绝大多数场景下none即可正常生效。
配置参考截图


内容的提问来源于stack exchange,提问作者SniperPro
相关产品推荐
相关产品推荐

