Google Dataflow模板UDF转换：日期格式处理与BigQuery插入失败排查

我来帮你搞定这个数据加载失败的问题——核心原因是你的CSV日期格式不符合BigQuery DATE类型的要求，咱们先理清楚问题细节，再给出具体的解决方法。

问题相关信息 #

先把你提供的关键信息整理出来，方便定位问题：

1. CSV单条示例数据（无表头） #

20231005,John Doe,New York

2. transform.js 转换脚本 #

function transform(line) {
  var values = line.split(',');
  var obj = {};
  obj.date = values[0];
  obj.name = values[1];
  obj.location = values[2];
  return JSON.stringify(obj);
}

3. schema.json 表结构定义 #

[
  {
    "name": "date",
    "type": "DATE",
    "mode": "REQUIRED"
  },
  {
    "name": "name",
    "type": "STRING",
    "mode": "NULLABLE"
  },
  {
    "name": "location",
    "type": "STRING",
    "mode": "NULLABLE"
  }
]

4. 错误堆栈信息 #

BigQuery insertion failed: Error while reading data, error message: Could not parse '20231005' as DATE for field date (position 0) with message: Invalid date: '20231005'

核心原因说明 #

BigQuery的DATE类型默认只识别YYYY-MM-DD格式的字符串（比如2023-10-05），或者ISO 8601标准的日期格式。你的CSV里的20231005是YYYYMMDD无分隔符格式，BigQuery无法自动解析，所以触发了插入失败的错误。

具体解决方案 #

你只需要修改transform.js脚本，把无分隔符的日期字符串转换成BigQuery认可的格式即可，下面是修改后的代码：

function transform(line) {
  var values = line.split(',');
  var obj = {};
  
  // 把YYYYMMDD格式转换为YYYY-MM-DD
  var rawDate = values[0];
  // 拆分年、月、日：前4位是年，中间2位是月，最后2位是日
  var formattedDate = rawDate.substring(0, 4) + '-' + rawDate.substring(4, 6) + '-' + rawDate.substring(6);
  
  obj.date = formattedDate;
  obj.name = values[1];
  obj.location = values[2];
  
  return JSON.stringify(obj);
}

额外优化建议 #

如果你的CSV中可能存在异常日期（比如长度不是8位的无效值），可以加个简单的校验逻辑，避免转换失败：

function transform(line) {
  var values = line.split(',');
  var obj = {};
  
  var rawDate = values[0];
  var formattedDate = null;
  // 校验日期格式是否为8位数字
  if (/^\d{8}$/.test(rawDate)) {
    formattedDate = rawDate.substring(0, 4) + '-' + rawDate.substring(4, 6) + '-' + rawDate.substring(6);
  }
  // 如果格式无效，可以设为null或者抛出提示（根据你的需求调整）
  obj.date = formattedDate;
  
  obj.name = values[1];
  obj.location = values[2];
  
  return JSON.stringify(obj);
}

修改完脚本后重新运行Dataflow模板，就能正常把数据插入BigQuery了。

内容的提问来源于stack exchange，提问作者C. Woza