寻求跨平台GUI/CLI Parquet样本文件生成工具,或Windows/MinGW版本
生成Parquet样本文件的工具推荐(适配单元测试场景)
刚好我之前做Parquet模块测试的时候研究过这类工具,结合你的需求——优先跨平台,备选Windows/MinGW方案,还要能生成适合单元测试的样本文件,给你整理几个实用的选项:
一、跨平台工具(优先推荐)
1. 灵活自定义的CLI方案:pandas + pyarrow/fastparquet
这是我日常做单元测试最常用的方案,跨Windows/macOS/Linux,能完全自定义数据结构(包括嵌套类型、空值、特殊格式),完美适配各种测试场景:
- 操作步骤:
- 先装依赖:
pip install pandas pyarrow - 写几行简单的Python代码就能生成样本:
import pandas as pd import pyarrow.parquet as pq # 构造符合你测试需求的样本数据,比如包含空值、嵌套结构 test_data = { 'user_id': [1, 2, None, 4], 'user_info': [{'name': 'Alice', 'age':25}, {'name': 'Bob', 'age':30}, None, {'name': 'Diana', 'age':40}], 'login_dates': ['2024-01-01', '2024-01-02', None, '2024-01-04'] } df = pd.DataFrame(test_data) # 导出为Parquet df.to_parquet('test_sample.parquet', engine='pyarrow') - 你可以根据单元测试的边界case,随时调整数据内容和结构,非常灵活。
- 先装依赖:
2. 无需代码的GUI工具:Parquet Editor
这是个跨平台的轻量GUI工具,支持Windows/macOS/Linux,既能查看Parquet文件,也能快速创建/编辑样本:
- 可视化编辑表结构:添加列、设置数据类型(包括复杂类型)
- 支持手动输入数据,或者从CSV/Excel导入后导出为Parquet
- 操作直观,适合快速生成简单样本,不用写代码
二、Windows/MinGW适配的工具
1. Apache官方CLI工具:parquet-tools
如果你的MinGW环境能配置Java,这个官方工具很实用:
- 支持从CSV生成Parquet,命令示例:
parquet-tools csv-to-parquet --input test_data.csv --output test_sample.parquet --schema "user_id:int32,user_name:string,age:int32" - 还能查看Parquet的元数据和内容,和你正在用的ParquetViewer搭配起来刚好。
2. Windows原生GUI工具:Microsoft Azure Storage Explorer
虽然它主打云存储管理,但对本地Parquet文件的支持也很好,Windows系统直接能用:
- 可以新建Parquet表,手动添加列和数据
- 支持导入CSV生成Parquet,不需要额外配置MinGW环境,操作简单
小提示
如果需要生成复杂嵌套结构的样本(比如结构体、数组),pandas+pyarrow的方案是最优选择,能精准控制每一种数据类型,完全覆盖单元测试的各种边界情况。
内容的提问来源于stack exchange,提问作者Juh_
相关产品推荐
相关产品推荐

