Spark SQL读取Parquet分区文件的机制及IoT能耗数据查询实现

一、查询指定房屋各设备平均能耗的实操示例 #

咱们先从实际代码入手，不管你用Scala还是Python，核心思路都是一致的：

1. 加载Parquet数据并创建临时视图 #

以PySpark为例：

from pyspark.sql import SparkSession

# 初始化Spark会话
spark = SparkSession.builder.appName("IoT_Energy_Analysis").getOrCreate()

# 加载分区Parquet文件，Spark会自动识别目录中的分区列
energy_df = spark.read.parquet("/path/to/your/parquet_root_dir")

# 创建临时视图，方便用SQL语法查询
energy_df.createOrReplaceTempView("iot_energy_records")

2. 执行Spark SQL查询 #

因为你的数据仅存储过去24小时的内容，直接查询指定房屋的设备平均能耗即可：

SELECT
    deviceId,
    AVG(energy) AS avg_daily_energy
FROM iot_energy_records
WHERE houseId = 'YOUR_TARGET_HOUSE_ID'  -- 替换为你要查询的houseId
GROUP BY deviceId
ORDER BY avg_daily_energy DESC;

如果后续数据保留周期超过24小时，建议在Schema中新增record_timestamp列，届时可以在WHERE子句中添加record_timestamp >= DATE_SUB(current_timestamp(), 1)来过滤时间范围。

二、Spark SQL读取分区Parquet文件的核心逻辑 #

我给你拆解清楚背后的工作原理：

1. 分区目录的物理结构 #

你的Parquet文件按houseId和deviceId分区，实际存储的目录结构是这样的：

parquet_root_dir/
├─ houseId=1001/
│  ├─ deviceId=2001/
│  │  ├─ part-00000.snappy.parquet
│  │  └─ part-00001.snappy.parquet
│  └─ deviceId=2002/
│     └─ part-00000.snappy.parquet
└─ houseId=1002/
   └─ deviceId=2003/
      └─ part-00000.snappy.parquet

每个分区列对应一级子目录，目录名遵循列名=列值的格式。

2. 分区识别与剪枝优化 #

• 自动识别分区列：Spark读取根目录时，会自动扫描所有子目录，解析出houseId和deviceId作为分区列。这些列不会存储在Parquet数据文件中，完全从目录路径提取，既节省存储又能快速获取维度信息。
• 分区剪枝（Partition Pruning）：当你在查询中指定WHERE houseId = '1001'时，Spark会直接跳过所有houseId≠1001的目录，只读取目标房屋下的设备数据，避免了全表扫描，大幅提升查询效率。
• 列裁剪（Column Pruning）：结合Parquet的列式存储特性，Spark只会读取查询中用到的列（比如这里的deviceId和energy），不会加载文件中的所有列，进一步减少IO开销。

3. 底层读取流程 #

简单总结为三步：

1. 扫描Parquet根目录的元数据，获取所有分区列的取值和对应目录路径；
2. 根据查询的WHERE条件过滤出符合要求的分区目录；
3. 读取目标目录下的Parquet文件，解析所需列的数据，再执行聚合、排序等计算逻辑。

这种设计让Spark在处理大体积分区Parquet文件时，能精准定位数据，非常适配IoT设备按业务维度分区的存储场景。

内容的提问来源于stack exchange，提问作者scorpio