HBase数据源为您提供写入HBase的单向通道数据集成能力,读取不同来源端的数据,写入HBase数据源中,实现不同数据源与HBase之间进行数据传输。
下文为您介绍HBase数据同步的能力支持情况。
您可在数据开发 > 数据源管理中进行配置注册,相关操作可参见“注册数据源”。
任务新建完成后,进入任务配置页面,您可根据实际场景,配置HBase离线写通道任务。
选择数据源
HBase离线写
数据目标端选择HBase,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。
参数 | 说明 |
|---|---|
*目标类型 | 数据去向目标类型,您可下拉选择或输入关键词HBase进行搜索。 |
*数据源名称 | 已在数据源管理界面注册的HBase数据源,下拉可选。 若还未建立相应数据源,可单击数据源管理按钮,前往创建HBase数据源。 |
*命名空间 | 对应HBase数据源下存在的NameSpace空间,下拉可选。 |
*数据表 | 选择需写入数据的目的表。 |
*Rowkey | 需输入一个表达式来生成Rowkey,表达式中若包含$(列族:列名)的话,会渲染成真实的字段值,可以包含公式,例如:
|
设置字段映射信息
字段为一一映射关系,即将源表字段信息,同步到同一行的目标字段信息中。数据源在选择好来源和目标数据源信息后,您可通过转换模式和基础模式方式来配置字段映射关系。操作详见“字段映射配置”。
高级参数
您可选择是否开启高级参数设置,参数说明详见“高级参数设置”。
其中,如果您场景中需要使用 Kerberos 认证方式写入 HBase 时,可在高级参数中添加以下参数:job.writer.platform_kerberos_enable=true,开启后,任务将使用 Kerberos 认证方式进行 HBase 写入,同时在 HBase 数据源配置时也需添加相应的数据源高级参数。详见HBase。
调度设置
单击右侧侧边栏的调度设置,配置相关调度设置参数。调度设置说明详见“调度设置”。
任务调试
参数配置完成后,可单击调试按钮 ,在弹出的窗口中,选择业务日期进行调试,调试结果/日志可在页面查看。
单击保存图标,完成草稿保存。