非同步UP/DOWN标识下传感器时序运动数据提取求助

问题背景 #

处理机器运行时的传感器时序大数据，数据字段包括：

• Dates（毫秒级时间戳）
• Sensor 1、Sensor 2：机器运行传感器数据
• UP：1=上升状态，-1=非上升状态
• DOWN：1=下降状态，-1=非下降状态

当前通过UP/DOWN字段识别运动周期时，存在时序滞后：机器已启动上升/下降运动，UP/DOWN的状态标识才触发，导致运动起始阶段的数据丢失，提取的周期不完整。

Python 实现方案 #

核心思路 #

通过传感器数据的一阶差分突变检测运动起始点（机器启动运动时传感器数据会出现明显波动），结合原UP/DOWN标签的结束点，拼接成完整的运动周期。

代码示例 #

import pandas as pd
import numpy as np

# 读取本地数据文件
df = pd.read_excel("Data_SO.xlsx")
# 转换为毫秒级时间戳
df["Dates"] = pd.to_datetime(df["Dates"], format="%Y-%m-%d %H:%M:%S.%f")

# 计算传感器数据的一阶差分绝对值，捕捉突变
df["sensor1_diff"] = np.abs(df["Sensor 1"].diff())
df["sensor2_diff"] = np.abs(df["Sensor 2"].diff())

# 基于差分分布设置突变阈值（取95分位数，可根据实际调整）
threshold_s1 = df["sensor1_diff"].quantile(0.95)
threshold_s2 = df["sensor2_diff"].quantile(0.95)

# 标记潜在的运动起始点
df["motion_start_candidate"] = ((df["sensor1_diff"] > threshold_s1) | (df["sensor2_diff"] > threshold_s2)).astype(int)

def extract_full_cycles(df):
    cycles = []
    in_cycle = False
    cycle_start = None
    current_state = None
    
    for idx, row in df.iterrows():
        # 触发起始点且未在周期中
        if row["motion_start_candidate"] == 1 and not in_cycle:
            cycle_start = idx
            # 查看后续数据判断运动状态（UP/DOWN）
            future_window = df.loc[idx:min(idx+10, len(df)-1), ["UP", "DOWN"]]
            current_state = "UP" if future_window["UP"].sum() > future_window["DOWN"].sum() else "DOWN"
            in_cycle = True
        # 检测到状态结束，提取完整周期
        elif in_cycle:
            if (current_state == "UP" and row["UP"] == -1) or (current_state == "DOWN" and row["DOWN"] == -1):
                cycle_df = df.loc[cycle_start:idx].copy()
                cycle_df["cycle_type"] = current_state
                cycles.append(cycle_df)
                in_cycle = False
    return pd.concat(cycles, ignore_index=True)

# 获取完整运动周期数据
full_cycles = extract_full_cycles(df)

R 实现方案 #

核心思路 #

和Python方案逻辑一致：通过传感器差分识别运动起始点，结合原状态标签的结束点构建完整周期。

代码示例 #

library(dplyr)
library(lubridate)
library(readxl)

# 读取本地数据
df <- read_excel("Data_SO.xlsx")
# 转换为毫秒级时间戳
df$Dates <- ymd_hms(df$Dates, truncated = 3)

# 计算传感器差分绝对值
df <- df %>%
  mutate(
    sensor1_diff = abs(`Sensor 1` - lag(`Sensor 1`)),
    sensor2_diff = abs(`Sensor 2` - lag(`Sensor 2`))
  )

# 设置差分突变阈值（95分位数）
threshold_s1 <- quantile(df$sensor1_diff, 0.95, na.rm = TRUE)
threshold_s2 <- quantile(df$sensor2_diff, 0.95, na.rm = TRUE)

# 标记运动起始候选点
df <- df %>%
  mutate(motion_start_candidate = ifelse(sensor1_diff > threshold_s1 | sensor2_diff > threshold_s2, 1, 0))

extract_full_cycles <- function(df) {
  cycles <- list()
  in_cycle <- FALSE
  cycle_start <- NULL
  current_state <- NULL
  
  for (i in 1:nrow(df)) {
    row <- df[i, ]
    if (row$motion_start_candidate == 1 && !in_cycle) {
      cycle_start <- i
      # 查看后续窗口判断运动状态
      window_end <- min(i + 10, nrow(df))
      future_window <- df[i:window_end, ]
      current_state <- ifelse(sum(future_window$UP == 1) > sum(future_window$DOWN == 1), "UP", "DOWN")
      in_cycle <- TRUE
    } else if (in_cycle) {
      if ((current_state == "UP" && row$UP == -1) || (current_state == "DOWN" && row$DOWN == -1)) {
        cycle_df <- df[cycle_start:i, ] %>%
          mutate(cycle_type = current_state)
        cycles[[length(cycles) + 1]] <- cycle_df
        in_cycle <- FALSE
      }
    }
  }
  return(bind_rows(cycles))
}

# 获取完整周期数据
full_cycles <- extract_full_cycles(df)

关键调整建议 #

1. 阈值优化：先查看传感器差分的直方图，根据实际噪声情况调整分位数（比如90/99分位数）或固定阈值。
2. 窗口大小：后续状态判断的窗口大小（示例中为10个点）需匹配数据采样频率，采样率高则缩小窗口。
3. 噪声处理：若传感器数据噪声大，先对数据做滚动均值平滑（比如df["Sensor 1"].rolling(window=5).mean()），再计算差分。

内容的提问来源于stack exchange，提问作者AnonX