使用embulk-filter-column插件复制MySQL列失败,求配置错误排查
Embulk列复制配置错误排查与修复
核心配置错误
你使用的embulk-filter-column插件columns配置项为输出列白名单模式,仅配置DATA_COPY时要么仅输出该列,要么规则不生效。如需保留原有全部列同时新增复制列,需使用add_columns参数。
修复后的Filter配置
filter: - type: column add_columns: - name: DATA_COPY src: DATE type: date format: "%Y-%m-%d"
该配置会在保留原有ID、DATE列的基础上,新增值与DATE完全一致的DATA_COPY列,同时固定日期格式避免输出带时分秒的timestamp格式。
其他可选排查点
- 确认已安装对应插件:执行
embulk gem list检查是否存在embulk-filter-column,未安装则执行embulk gem install embulk-filter-column - 确认配置文件后缀为
.yml.liquid,你标注的bq.yml.requid为拼写错误,后缀错误会导致模板解析失败 - 如需原
DATE列也输出为yyyy-MM-dd格式,可在MySQL输入配置段添加参数:in: type: mysql options: defaultDateType: "string" # 其余原有配置保持不变
内容的提问来源于stack exchange,提问作者サワヤン
相关产品推荐
相关产品推荐

