将CSV文件上传至Big Query时遇Timestamp解析错误求助

• 核心问题分析：你遇到的错误本质是BigQuery默认要求TIMESTAMP的月、日必须是两位数字（比如05而非5），而你的数据里是单数字的月/日（XXXX-X-XX格式），即使去掉秒数也无法匹配默认解析规则。

• 解决方案1：修改CSV原始数据格式
  直接把日期中的单数字月、日补零，比如将2024-5-3 14:25改成2024-05-03 14:25:00，完全贴合BigQuery要求的YYYY-MM-DD HH:MM:SS格式。

• 解决方案2：在Node.js脚本中预处理日期字段
  使用日期处理库（如date-fns或moment）将原始日期格式化为符合要求的格式，示例代码：

  const { parse, format } = require('date-fns');
  
  // 处理单条数据的日期字段
  function formatTimestamp(rawDate) {
    // 解析原始格式（单数字月日）
    const parsed = parse(rawDate, 'yyyy-M-d HH:mm', new Date());
    // 格式化为BigQuery兼容的两位月日格式
    return format(parsed, 'yyyy-MM-dd HH:mm:ss');
  }
  
  // 读取CSV时调用该函数处理date_time_received_utc字段
  

• 解决方案3：在BigQuery加载作业中指定自定义解析格式
  不用修改数据，直接在加载配置里告诉BigQuery你的时间戳格式，示例代码：

  const { BigQuery } = require('@google-cloud/bigquery');
  const bigquery = new BigQuery();
  
  const jobConfig = {
    schema: {
      fields: [
        {
          name: 'date_time_received_utc',
          type: 'TIMESTAMP',
          // 指定输入格式为单数字月日的格式
          format: '%Y-%-m-%-d %H:%M:%S'
        },
        // 其他字段定义...
      ]
    },
    skipLeadingRows: 1, // 如果CSV有表头的话
  };
  
  // 执行加载
  async function loadCSV() {
    const source = './your-file.csv';
    const [job] = await bigquery
      .dataset('your_dataset')
      .table('your_table')
      .load(source, jobConfig);
    
    await job.promise();
    console.log('加载完成');
  }
  

  这里的%-m和%-d是BigQuery的格式符，表示无前导零的月、日，对应你数据里的单数字格式。

• 额外检查项

  • 确认日期字段前后没有空格或不可见字符，可在脚本中加rawDate.trim()处理
  • 检查是否有部分数据格式不一致，比如有的是单数字月，有的是双数字，导致批量解析失败

内容的提问来源于stack exchange，提问作者Ivan