在Talend工具中提取JSON/CSV文件名及列名并加载至临时表

一、核心Job架构概述 #

整体流程为：遍历指定文件夹 → 区分CSV/JSON文件类型 → 分别提取文件名与列名 → 合并数据 → 写入临时表

二、具体组件配置与步骤 #

1. 遍历目标文件夹 #

• 使用tFileList组件，配置目标文件夹路径，设置文件过滤规则为*.csv和*.json，按需勾选"Include subdirectories"（遍历子文件夹）。
• 将tFileList的输出连接到tRouteRow组件，用于分流不同类型的文件。

2. 区分文件类型并分流 #

在tRouteRow中设置两个分支条件：

• CSV文件分支：((String)globalMap.get("tFileList_CURRENT_FILE")).endsWith(".csv")
• JSON文件分支：((String)globalMap.get("tFileList_CURRENT_FILE")).endsWith(".json")

3. 提取CSV文件的文件名与列名 #

• 分支1连接tFileInputDelimited组件，配置文件路径为(String)globalMap.get("tFileList_CURRENT_FILE")，勾选"Header"选项以读取表头列名。
• 添加tJavaRow组件，编写代码提取关键信息：

  // 获取当前文件名
  String fileName = (String)globalMap.get("tFileList_CURRENT_FILE_NAME");
  // 将列名数组转为逗号分隔的字符串
  String[] columnNames = input_row.getSchema().getColumnNames();
  String columns = String.join(",", columnNames);
  
  // 输出字段赋值
  output_row.fileName = fileName;
  output_row.fileType = "CSV";
  output_row.columnNames = columns;
  

• 注意：若CSV无表头，需提前定义默认列名规则或跳过此类文件。

4. 提取JSON文件的文件名与列名 #

• 分支2连接tFileInputJSON组件，配置文件路径为(String)globalMap.get("tFileList_CURRENT_FILE")，选择"JSON Path query"模式并指定根节点（如$.*）读取结构。
• 添加tJavaRow组件，提取信息：

  String fileName = (String)globalMap.get("tFileList_CURRENT_FILE_NAME");
  // 获取JSON顶层列名并转为字符串
  String[] columnNames = input_row.getSchema().getColumnNames();
  String columns = String.join(",", columnNames);
  
  output_row.fileName = fileName;
  output_row.fileType = "JSON";
  output_row.columnNames = columns;
  

• 注意：若JSON为嵌套结构，需先用tExtractJSONFields扁平化结构，再提取列名。

5. 合并数据并写入临时表 #

• 将两个分支的tJavaRow输出连接到tUnite组件，合并CSV和JSON的提取结果。
• 连接tDBOutput组件，配置临时表的数据库连接信息，映射fileName、fileType、columnNames到对应表字段。
• 临时表结构示例（MySQL）：

  CREATE TEMPORARY TABLE file_metadata (
      id INT AUTO_INCREMENT PRIMARY KEY,
      file_name VARCHAR(255) NOT NULL,
      file_type VARCHAR(10) NOT NULL,
      column_names TEXT NOT NULL,
      create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
  );
  

三、注意事项 #

• 处理大文件时，在tFileInputDelimited和tFileInputJSON中设置"Limit"为1，仅读取表头/第一行结构，避免加载全量数据影响性能。
• 添加tTryCatch组件处理异常文件（如无表头CSV、结构不规范JSON），记录错误文件名。
• 建议使用Talend 7.x及以上版本，组件兼容性更佳。

内容的提问来源于stack exchange，提问作者user22387009