TensorFlow/PyTorch能否用该JSON时序数据训练LSTM做手语预测？

这种包含帧级手部关键点的时序数据，刚好适配LSTM处理序列任务的特性——手语句子本身就是连续的手部动作序列，LSTM天生擅长捕捉这类动作的时序依赖关系，用来做预测完全没问题。你只需要先把JSON格式的数据预处理成LSTM能接收的规整张量格式，具体步骤如下：

• 统一帧时序：确保每个手语句子对应的所有帧是严格按时间先后顺序排列的，避免帧序混乱影响模型学习
• 提取规整特征：
  对每帧数据，提取左右手各21个关键点的x、y、z坐标，把每帧的特征整理成一维数组：

  [左腕x, 左腕y, 左腕z, 左拇指根x, ..., 左小拇指尖x,y,z, 右腕x,y,z, ..., 右小拇指尖x,y,z]
  

  单帧总共会有 21*2*3=126 个特征值；如果某帧只有一只手的关键点数据，要统一填充缺失的手部数据（比如用0填充，或者该手语样本中对应手的平均坐标）
• 对齐序列长度：LSTM要求输入的所有序列长度一致，你需要把所有手语句子的帧序列调整到相同长度——要么对短序列补零，要么对长序列截断到固定长度（比如取所有样本的最大帧长，或者中位数长度）

预处理完成后，输入数据的形状会是 (样本数量, 序列长度, 特征数)，这正是LSTM模型的标准输入格式。后续你可以根据任务目标（比如句子分类、序列到序列的手语转文字）搭建对应的LSTM结构。

附你提供的JSON数据样例：

{"frame": 123,"hands": [{"hand": "Left","landmarks": [{"x": 0.4636201858520508,"y": 0.3758980929851532,"z": 7.529240519943414e-08,"body_part": "wrist"},...,{"x": 0.4639311134815216,"y": 0.2574789524078369,"z": -0.013109659776091576,"body_part": "pinky_tip"}]},{"hand": "Right","landmarks": [{"x": 0.5393109321594238,"y": 0.6190552711486816,"z": 1.0587137921902467e-07,"body_part": "wrist"},...,{"x": 0.4721616506576538,"y": 0.5990280508995056,"z": -0.006831812672317028,"body_part": "pinky_tip"}]}]}

内容的提问来源于stack exchange，提问作者daeseng