如何在Unix Shell脚本中获取HDFS上Parquet文件的列名并赋值给变量

嘿，我刚好有几个实用的方法可以帮你在Shell脚本里提取Parquet文件的列名，完美适配你后续的Sqoop导出需求——毕竟动态列名确实不能硬写死，得靠脚本自动获取。下面是两种靠谱的实现方式：

方法1：用Spark Shell批处理模式推荐 #

Spark对Parquet的支持非常完善，而且可以直接读取HDFS上的Parquet目录不需要指定单个文件，适合处理批量文件的场景。你可以用非交互式的Spark Shell脚本来提取列名：

# 从HDFS Parquet目录提取列名，生成逗号分隔的字符串
COLUMNS=$(spark-shell --master local[1] --name "ExtractParquetColumns" << 'EOF'
// 读取HDFS上的Parquet文件/目录
val df = spark.read.parquet("hdfs://your-nn-host:8020/path/to/parquet-directory")
// 将列数组转成逗号分隔的字符串
val columnStr = df.columns.mkString(",")
// 输出结果
println(columnStr)
// 退出Spark Shell
sys.exit(0)
EOF
# 过滤掉Spark启动时的无关日志输出，只保留列名字符串
| grep -v "Welcome to" | grep -v "Spark context available as" | grep -v "Spark session available as" | tr -d '\n')

# 验证变量是否正确赋值
echo "Extracted columns: $COLUMNS"

代码说明： #

• 用<< 'EOF'的here-doc语法在Shell中嵌入Scala代码，避免变量转义问题
• df.columns和你熟悉的Scala API完全一致，返回列名数组
• 用grep -v过滤掉Spark启动时的欢迎信息和上下文提示，只保留我们需要的列名字符串
• 最后用tr -d '\n'去掉多余的换行符，确保变量格式是纯逗号分隔的字符串

方法2：用parquet-tools工具轻量方案 #

如果你不想启动Spark（比如资源受限的环境），可以用官方的parquet-tools工具，它专门用来解析Parquet文件的元数据。首先确保你的环境已经安装了这个工具（通常Hadoop/Parquet发行版会自带）：

# 从单个Parquet文件提取列名（因为同目录下的Parquet文件schema一致，取一个即可）
COLUMNS=$(parquet-tools schema hdfs://your-nn-host:8020/path/to/parquet-directory/_part-r-00000.parquet \
# 过滤出包含列定义的行（optional/required开头的行）
| grep -E "^optional|^required" \
# 提取第三列的列名
| awk '{print $3}' \
# 将换行符替换成逗号
| tr '\n' ',' \
# 去掉最后一个多余的逗号
| sed 's/,$//')

# 验证变量
echo "Extracted columns: $COLUMNS"

代码说明： #

• parquet-tools schema会输出Parquet文件的完整schema，格式类似optional binary id (UTF8);
• 用grep筛选出列定义行，awk提取列名字段，最后用tr和sed整理成逗号分隔的格式

将列名传入Sqoop导出命令 #

拿到COLUMNS变量后，直接在Sqoop命令中引用即可：

sqoop export \
  --connect jdbc:mysql://your-db-host:3306/your-target-db \
  --username your-db-user \
  --password your-db-password \
  --table your-target-table \
  --export-dir hdfs://your-nn-host:8020/path/to/parquet-directory \
  --input-parquet-file \
  --columns "$COLUMNS"

注意事项： #

1. 确保Parquet文件的列名和目标数据库表的列名完全匹配（大小写敏感，根据数据库配置调整）
2. 如果你的Parquet文件有嵌套列，两种方法都会提取扁平化的列名（比如user.id），需要确认Sqoop是否支持这种格式的列名（通常需要提前处理嵌套结构）
3. Spark方法的优势是可以直接读取目录，不需要指定单个文件，更适合自动化脚本

内容的提问来源于stack exchange，提问作者John Humanyun