You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

寻求跨平台GUI/CLI Parquet样本文件生成工具,或Windows/MinGW版本

生成Parquet样本文件的工具推荐(适配单元测试场景)

刚好我之前做Parquet模块测试的时候研究过这类工具,结合你的需求——优先跨平台,备选Windows/MinGW方案,还要能生成适合单元测试的样本文件,给你整理几个实用的选项:

一、跨平台工具(优先推荐)

1. 灵活自定义的CLI方案:pandas + pyarrow/fastparquet

这是我日常做单元测试最常用的方案,跨Windows/macOS/Linux,能完全自定义数据结构(包括嵌套类型、空值、特殊格式),完美适配各种测试场景:

  • 操作步骤:
    1. 先装依赖:pip install pandas pyarrow
    2. 写几行简单的Python代码就能生成样本:
      import pandas as pd
      import pyarrow.parquet as pq
      
      # 构造符合你测试需求的样本数据,比如包含空值、嵌套结构
      test_data = {
          'user_id': [1, 2, None, 4],
          'user_info': [{'name': 'Alice', 'age':25}, {'name': 'Bob', 'age':30}, None, {'name': 'Diana', 'age':40}],
          'login_dates': ['2024-01-01', '2024-01-02', None, '2024-01-04']
      }
      df = pd.DataFrame(test_data)
      # 导出为Parquet
      df.to_parquet('test_sample.parquet', engine='pyarrow')
      
    3. 你可以根据单元测试的边界case,随时调整数据内容和结构,非常灵活。

2. 无需代码的GUI工具:Parquet Editor

这是个跨平台的轻量GUI工具,支持Windows/macOS/Linux,既能查看Parquet文件,也能快速创建/编辑样本:

  • 可视化编辑表结构:添加列、设置数据类型(包括复杂类型)
  • 支持手动输入数据,或者从CSV/Excel导入后导出为Parquet
  • 操作直观,适合快速生成简单样本,不用写代码

二、Windows/MinGW适配的工具

1. Apache官方CLI工具:parquet-tools

如果你的MinGW环境能配置Java,这个官方工具很实用:

  • 支持从CSV生成Parquet,命令示例:
    parquet-tools csv-to-parquet --input test_data.csv --output test_sample.parquet --schema "user_id:int32,user_name:string,age:int32"
    
  • 还能查看Parquet的元数据和内容,和你正在用的ParquetViewer搭配起来刚好。

2. Windows原生GUI工具:Microsoft Azure Storage Explorer

虽然它主打云存储管理,但对本地Parquet文件的支持也很好,Windows系统直接能用:

  • 可以新建Parquet表,手动添加列和数据
  • 支持导入CSV生成Parquet,不需要额外配置MinGW环境,操作简单

小提示

如果需要生成复杂嵌套结构的样本(比如结构体、数组),pandas+pyarrow的方案是最优选择,能精准控制每一种数据类型,完全覆盖单元测试的各种边界情况。

内容的提问来源于stack exchange,提问作者Juh_

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.05.14 06:51:20