如何基于JSON的Event键值分配时间戳变量并计算Spark任务时长？

嘿，我懂你遇到的问题了——你想从每行都是独立JSON的Spark日志里，提取SparkListenerApplicationStart和SparkListenerApplicationEnd对应的时间戳，计算任务的总运行时长，但又不能用那种直接在变量赋值里写if返回的写法对吧？

其实很简单，我们只需要在lineReader的回调函数外部先定义两个变量，用来分别存储任务的开始和结束时间戳，然后在每行的处理逻辑里，根据Event的类型给对应的变量赋值就好。另外，为了避免日志里的JSON格式错误导致程序崩溃，最好加上异常处理。

下面是完整的实现代码：

// 在回调外部定义全局（相对于回调而言）的时间变量
let startTime, endTime;

lineReader.on('line', function (line) {
  try {
    // 解析当前行的JSON内容
    const obj = JSON.parse(line);

    // 根据Event类型赋值对应的时间戳
    if (obj.Event === "SparkListenerApplicationStart") {
      startTime = obj.Timestamp;
      console.log(`任务开始时间戳：${startTime}`);
    } else if (obj.Event === "SparkListenerApplicationEnd") {
      endTime = obj.Timestamp;
      console.log(`任务结束时间戳：${endTime}`);

      // 可选：拿到结束时间后立即计算时长
      if (startTime) {
        const taskDuration = endTime - startTime;
        console.log(`任务运行时长：${taskDuration} 毫秒`);
      } else {
        console.warn("警告：未找到匹配的任务开始时间戳");
      }
    }
  } catch (error) {
    console.error(`解析日志行失败：${error.message}`);
  }
});

// 可选：等整个日志文件读完后，统一计算并输出时长
lineReader.on('close', function () {
  if (startTime && endTime) {
    const totalDuration = endTime - startTime;
    console.log(`=== 任务总运行时长：${totalDuration} 毫秒 ===`);
  } else {
    let missingInfo = [];
    if (!startTime) missingInfo.push("开始时间戳");
    if (!endTime) missingInfo.push("结束时间戳");
    console.log(`无法计算时长：缺少${missingInfo.join("和")}`);
  }
});

关键说明： #

• 把startTime和endTime定义在回调函数外部，这样每次处理日志行时，都能修改同一个变量，保证时间戳的正确性
• 用try/catch包裹JSON.parse，防止某行日志格式错误导致整个程序挂掉
• 提供了两种计算时长的时机：一种是读到结束时间时立刻计算，另一种是等整个文件读完后统一计算，你可以根据自己的需求选择

内容的提问来源于stack exchange，提问作者pac