使用TimeSeriesOutput报错:不支持设置output_format或options求解决
解决TimeSeriesOutput的ValueError问题
问题原因
你遇到的ValueError: TimeSeriesOutput does not support setting output_format or options错误,是因为TimeSeriesOutput作为专门的时间序列输出类型,其write_dataframe方法不支持传入output_format和options参数——它已经内置了适配时间序列的存储格式与配置,不需要手动指定这两个参数。
修复后的代码
from transforms.api import transform, incremental, Input, Output from transforms.timeseries import TimeSeriesOutput @incremental(semantic_version=1) @transform( output_dataset= TimeSeriesOutput("/path/to/output/dataset"), input_dataset=Input("/path/to/input/dataset"), ) def my_compute_function(output_dataset, input_dataset): output_dataset.write_dataframe( input_dataset.dataframe('added').repartitionByRange('seriesId').sortWithinPartitions('seriesId', 'timestamp') )
补充说明
TimeSeriesOutput是为时间序列数据存储做了专门优化的输出类,会自动处理数据的分区、排序与存储格式,因此无需额外指定输出格式或自定义选项。如果需要调整时间序列的存储行为,应该通过TimeSeriesOutput的初始化参数配置,而非在write_dataframe中传入不支持的参数。
内容的提问来源于stack exchange,提问作者Skat
相关产品推荐
相关产品推荐

