在R中检测传感器间与同传感器温湿度数据异常的方法咨询

一、温湿度趋势分析 #

• 时间粒度聚合：将数据按小时/天/周做聚合计算均值、中位数，用折线图直观展示整体走势，比如执行df.resample('D').mean()（需先把timestamp设为数据集索引），快速掌握8个月内温湿度的整体变化规律。
• 季节性平滑：用7天或30天的移动平均（df.rolling(window=7).mean()）过滤短期波动，观察周/月级的周期趋势；也可对时序数据做分解，拆分出趋势、季节、残差三部分，分析室内温湿度与外部季节的关联。
• 传感器分组对比：按传感器ID分组绘制各传感器的温湿度趋势线，同一房间内正常传感器的走势应高度一致，能快速定位明显偏离的个体。

二、单传感器异常记录检测 #

按实现成本从低到高选择方法：

• 物理规则校验：先卡基础阈值，室内温度通常在10-40℃、湿度在0-100%，超出范围直接标记为异常，这是最快的粗过滤方式。
• 统计阈值法：计算该传感器温湿度的均值±3倍标准差，或用四分位数间距（IQR）——超出Q1-1.5IQR、Q3+1.5IQR的记录标记为异常，适合处理离群值，10万行数据可快速运算。
• 滑动窗口法：用固定窗口（比如1小时内的12条数据）计算窗口内的均值和标准差，当前数据与窗口统计量偏差过大则标记异常，能捕捉突然跳变的异常（如传感器数值骤升至60℃）。
• 时序预测法：追求精准度的话，用Prophet（适配带季节性的时序，对缺失值鲁棒性好）或ARIMA模型预测下一个时间点的数值，实际值与预测值的残差超过阈值则判定为异常；数据量充足时也可尝试LSTM，但需一定建模成本。

三、跨传感器识别错误数据的传感器 #

同一房间内传感器数据应高度一致，通过以下方法定位问题传感器：

• 相关性校验：计算所有传感器温湿度的皮尔逊相关系数，正常情况系数应接近1，低于0.7的传感器大概率存在数据异常。
• 偏差统计：计算每个传感器与所有传感器均值的偏差，若某传感器长期偏差超过2℃或10%湿度，可判定数据错误。
• 均值一致性检验：用ANOVA检验各传感器的温湿度均值是否存在显著差异，p值小于0.05的传感器，与其他传感器均值差异明显，标记为可疑对象。
• 异常频率对比：统计每个传感器的异常记录占比，占比远高于其他传感器的个体，大概率存在硬件故障或采集错误。

内容的提问来源于stack exchange，提问作者Bartholomew