如何在Hadoop HDFS中管理JSON文件并实现类MongoDB的查询导出需求

HDFS本身是分布式文件系统，仅负责JSON文件的存储，你需要的类Mongo查询、转CSV的能力可以通过Hadoop生态的计算引擎实现，以下是三个无需Mongo的可行方案：

可选实现方案 #

方案1：用Spark SQL处理（最推荐，适配异构JSON） #

Spark原生支持读取异构JSON文件，会自动推断Schema，缺失字段自动填充null，完全适配你提到的结构互不相同的场景，几行代码就能实现需求。
PySpark示例代码：

from pyspark.sql import SparkSession

# 初始化Spark会话
spark = SparkSession.builder.appName("Json2Csv").getOrCreate()
# 读取HDFS路径下的所有JSON文件
df = spark.read.json("hdfs:///path/to/your/json/files/*")
# 按需求过滤、提取字段，直接对应你写的伪代码逻辑
result_df = df.filter(df.this_attribute.isNotNull())\
              .select(df.NAME.alias("name"), df.this_attribute.value.alias("x"))
# 导出为CSV，加coalesce(1)可合并为单个文件，header=True保留表头
result_df.coalesce(1).write.csv("hdfs:///path/to/output/csv", header=True)

方案2：用Hive SQL处理（适合已部署Hive的场景） #

不需要额外部署服务，直接通过SQL查询实现，JSON字段可以通过get_json_object函数动态提取，不需要提前定义全量Schema：

1. 先建外部表映射HDFS上的JSON文件：

CREATE EXTERNAL TABLE IF NOT EXISTS json_table (
    json_content STRING
)
LOCATION '/path/to/your/json/files';

2. 执行查询并导出CSV：

INSERT OVERWRITE DIRECTORY '/path/to/output/csv'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT 
    get_json_object(json_content, '$.NAME') AS name,
    get_json_object(json_content, '$.this_attribute.value') AS x
FROM json_table
WHERE get_json_object(json_content, '$.this_attribute') IS NOT NULL;

方案3：用jq命令行工具处理（适合小数据量场景） #

如果你的数据量不大，不需要分布式计算，可以直接把HDFS文件拉到本地，用专门的JSON处理工具jq一行命令搞定：

hdfs dfs -cat /path/to/your/json/files/* | jq -r 'select(.this_attribute != null) | [.NAME, .this_attribute.value] | @csv' > result.csv

内容的提问来源于stack exchange，提问作者Liuk