如何通过命令行无需下载直接查看S3路径下Parquet文件的内容与元数据

方案一：基于Hadoop parquet-tools 原生支持 #

• 首先解决S3文件系统依赖错误：你遇到的No FileSystem for schema "s3"报错是因为Hadoop运行环境缺少S3文件系统的实现类，按以下步骤配置：
  1. 下载与你Hadoop版本匹配的hadoop-aws和aws-java-sdk依赖包，放到Hadoop的share/hadoop/common/lib目录下
  2. 修改Hadoop配置文件core-site.xml，添加S3A文件系统配置：

     <property>
       <name>fs.s3a.impl</name>
       <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
     </property>
     <property>
       <name>fs.s3a.access.key</name>
       <value>你的AWS访问密钥ID</value>
     </property>
     <property>
       <name>fs.s3a.secret.key</name>
       <value>你的AWS秘密访问密钥</value>
     </property>
     <!-- 若使用临时凭证，额外添加以下配置 -->
     <property>
       <name>fs.s3a.session.token</name>
       <value>你的临时会话token</value>
     </property>
     

  3. 执行命令时将路径前缀从s3://改为s3a://，即可直接读取整个S3前缀下的所有Parquet文件：

     hadoop jar parquet-tools-1.9.0.jar schema s3a://bucket/my-data.parquet/
     

• 处理多文件schema差异：如果不同分区文件的schema不一致，建议升级到1.12及以上版本的parquet-tools，添加--merge参数即可合并所有文件的schema输出统一的联合Schema：

  hadoop jar parquet-tools-1.12.0.jar schema --merge s3a://bucket/my-data.parquet/
  

方案二：基于Python pyarrow 轻量实现（无需配置Hadoop） #

如果不想折腾Hadoop环境，可以用Python的pyarrow + s3fs组合直接操作S3上的Parquet数据集，操作更简单，原生支持schema合并：

1. 先安装依赖包：

   pip install pyarrow s3fs
   

2. 执行对应操作的示例代码：

   import pyarrow.parquet as pq
   import s3fs
   
   # 自动读取AWS凭证（支持环境变量、~/.aws/credentials、EC2/IAM角色等方式）
   s3_fs = s3fs.S3FileSystem()
   # 加载整个前缀下的Parquet数据集，默认自动合并多文件schema
   parquet_ds = pq.ParquetDataset("s3://bucket/my-data.parquet", filesystem=s3_fs)
   
   # 查看合并后的schema
   print(parquet_ds.schema)
   # 查看前10行数据
   print(parquet_ds.head(10))
   # 查看数据集全局元数据
   print(parquet_ds.metadata)
   

如果存在schema差异，可以添加参数pq.ParquetDataset(..., coerce_schema=True)强制兼容数据类型差异，也可以手动传入目标Schema做类型对齐。

内容的提问来源于stack exchange，提问作者Wassadamo