Talend Open Studio处理Excel转JSON时如何获取路径、记录数等信息

各类元数据对应实现步骤 #

• 源文件路径、目标文件信息获取
  配置tFileInputExcel组件时，直接在高级设置页勾选将文件名注入数据流选项，源文件的完整路径会自动作为字段随数据流转到下游。
  目标JSON文件的路径、大小、生成时间这类属性，在tFileOutputJSON组件后串接tFileProperties组件，把待检测的目标文件路径填进去，组件运行后会直接输出全量文件属性字段，直接调用就行。
• 输入、输出记录数统计
  不用写复杂代码，在Excel输入节点和数据转换节点之间、转换节点和JSON输出节点之间，各插一个tFlowMeter组件，作业运行结束后，既可以在Run面板的统计标签页直接看到两个节点的流转记录数，也可以把tFlowMeter输出的计数字段接下游节点使用。如果需要跨节点调用计数结果，直接在tJava里用全局变量存就行：

  globalMap.put("inputCount", inputMeter.lineCount);
  globalMap.put("outputCount", outputMeter.lineCount);
  

• Excel数据行列数统计
  列数不需要额外统计，你在tFileInputExcel里配置完读取schema后，在任意tJava/tJavaRow组件里调用schema的字段数方法就能拿到：

  int excelColCount = row1.getClass().getDeclaredFields().length;
  

  行数统计两种常用方法：要么直接勾选tFileInputExcel里的统计读取行数选项，组件会自带行数字段输出；要么在数据流里加tAggregateRow组件做count聚合，注意如果配置了跳过前N行表头/空行，最终统计值减去跳过的行数就是真实数据行数。

配置界面参考 #

校验提示 #

所有元数据字段都可以在作业末端接tLogRow组件，运行后在控制台直接打印校验，数值确认无误后，可以把元数据和业务JSON合并输出，也可以单独写入作业日志表，全流程用Talend原生组件就能实现，不需要额外安装插件。

内容的提问来源于stack exchange，提问作者Akash Tripathi