BigQuery读取Google Sheet关联表自动检测schema后查询报日期转换错误
问题描述
- 操作流程:读取已接入BigQuery的Google Sheet数据源,使用自动检测Schema功能完成表配置后执行查询,触发读取报错
- 执行的查询语句:
SELECT date FROM `project.dataset.table` LIMIT 1000
- 系统报错信息:
Error while reading table: project.dataset.table, error message: Could not convert value to date. Error: Invalid date: '1/15/2011'. Row 1; Col 2
- 当前卡点:不清楚日期字段需要调整哪些Schema配置,才能正常执行查询
- 关联参考截图:
报错原因
BigQuery自动检测Schema时,默认将具备日期特征的列映射为原生DATE类型,该类型仅能识别YYYY-MM-DD格式的日期值,无法匹配Google Sheet中存储的M/D/YYYY格式(如报错示例中的1/15/2011)文本,类型转换失败时就会中断表读取流程。
解决方法
- 方法1:修改外部表Schema配置
- 进入BigQuery对应外部表的编辑页面,关闭自动Schema检测开关
- 手动将
date字段的类型从DATE调整为STRING,保存配置 - 重新执行查询,通过
PARSE_DATE('%m/%d/%Y', date)函数完成日期值转换即可正常读取
- 方法2:调整源数据格式
直接修改Google Sheet内的日期列展示格式,将所有值调整为YYYY-MM-DD标准日期格式,重新触发BigQuery自动Schema检测后,即可无需额外转换直接读取 - 方法3:自定义日期解析规则
创建外部表时,在高级配置中为date字段指定匹配源数据的%m/%d/%Y解析格式,无需修改源数据即可实现直接读取
内容的提问来源于stack exchange,提问作者AdilK
相关产品推荐
相关产品推荐

