读取gzip压缩Parquet文件时出现‘Not a gzipped file’错误求助
问题原因
你用df.to_parquet()保存的是Parquet格式文件,指定compression="gzip"是让Parquet内部对数据块做gzip压缩,并非把整个文件打包成gzip格式。而pd.read_table()是读取文本类文件(如TSV、CSV)的工具,它看到文件名带.gz就尝试用gzip解压,但文件开头是Parquet的标识b'PA',不符合gzip文件的魔数(b'\037\213'),因此触发OSError。
解决方法
读取Parquet文件必须用pd.read_parquet()方法,它会自动识别文件的压缩格式,无需额外设置:
matrix = pd.read_parquet('../input/meth-clin-kipan/meth_450_clin_all_kipan.parquet.gz')
内容的提问来源于stack exchange,提问作者melolilili
相关产品推荐
相关产品推荐

