因此要求 BMQ 资源池和 Flink 资源池均处于相同地域的同一个 VPC 内。您可以在创建云资源前,先创建私有网络。相关文档,请参见创建私有网络和创建子网。 步骤一:准备数据源 BMQ Topic登录云原生消息引擎控制台。 在... 由小写字母、数字和短横线(-)构成。 长度为 1~64 个字符。 地域及可用区部署 地域已选定,不可更改。根据业务的网络延迟、高可用容灾等需求,选择单可用区或者多可用区。 单可用区:选择一个合适的可用区即可。 多...
LAS 外表均处于相同地域、相同 VPC。 前提条件需要提前创建 Flink 资源池,相关文档,请参见创建通用-VCI 资源池。 需要提前创建 Kafka 实例、Topic、Group、 SASL Plain 用户,以及获取 Kafka 实例的 SASL_PLAINTEX... 大小写英文字母、下划线(_)、短横线(-)和英文句号(.),且首尾只能是数字或字母。 任务类型 选择 Flink 任务 > Flink Stream > SQL。 所属文件夹 系统提供文件夹管理功能,用于分类管理任务。您可以直接选择系统默...
只能由大小写字母、数字、下划线(_)、短横线(-)和英文句号(.)组成。 体验流程本文将 Flink JAR 任务开发流程总体分为了两个阶段,分别是开发阶段和运维阶段,每个阶段对应的成员及主要工作均不相同。 开发阶段:一般... 大小写英文字母、下划线(_)、短横线(-)和英文句号(.),且首尾只能是数字或字母。 任务类型 选择 Flink 任务 > Flink Stream > Jar。如需体验 SQL 任务开发流程,请参见开发SQL作业。 所属文件夹 系统提供文件夹管...
每个阶段对应的成员及主要工作均不相同。 开发阶段:一般是开发人员(Project_Dev)负责开发 SQL 任务,完成开发和调试后将任务上线到生产环境。 运维阶段:一般是运维人员(Project_OPS)负责启动任务,并查看任务执行情况... 大小写英文字母、下划线(_)、短横线(-)和英文句号(.),且首尾只能是数字或字母。 任务类型 选择 Flink 任务 > Flink Stream > SQL。如需体验 JAR 任务的开发流程,请参见开发JAR 作业。 所属文件夹 系统提供文件...
您可以用和流式 Serverless Flink SQL 任务相同的 SQL 语句,通过离线 Flink Batch SQL 作业,来进行离线数据修正,实现流批一体操作,大幅降低开发和维护成本。本文以一个简单的示例,将为您介绍 Flink Batch SQL 作业... 首尾只能是数字、字母,且允许输入 1~63 个字符。 保存至: 选择任务存放的目标文件夹目录。 单击确认按钮,成功创建任务。 3.2 编辑任务新建任务成功后,进入代码开发编辑界面,通过 DDL 和 DML 编辑 SQL。详细语...
首尾只能是数字、字母,且允许输入 1~63 个字符。 保存至: 选择任务存放的目标文件夹目录。 单击确认按钮,成功创建任务。 3.2 编辑任务新建任务成功后,进入代码开发编辑界面,通过 DDL 和 DML 编辑 SQL ,示例代码如下:详细语法可参考各版本对应的 Flink 官方文档。 3.2.1 编辑SQL代码 以下为示例Demo:将 Datagen 连接器生成的随机数,输出并打印到 Stdout(标准输出)日志中。 SQL CREATE TABLE datagen_source ( siteid INT...
首尾只能是数字、字母,且允许输入 1~63 个字符。 保存至: 选择任务存放的目标文件夹目录。 单击确认按钮,成功创建任务。 3.2 引用资源通过下列参数设置 Jar 包: 选择 Jar 包可通过以下方式选择资源: 资源库中选取已有资源。 直接在下拉框中新建资源,或在左侧导航栏资源库中新建流式计算 Flink 资源,详见:资源库操作。 执行引擎:执行引擎支持选择 Flink 1.11、Flink 1.16 两个版本。 Main Class:填写 Jar 包程序的主类,...
大小写英文字母、下划线(_)、短横线(-)和英文句号(.),且首尾只能是数字或字母。 Conf map 否 {"spark.executor.memory": "4G"} 任务额外自定义的配置参数。 SqlText string 否 select * from docdb.hivetable; SQL 语句。 POSTApiV1AppCreateDeployRequest 数据结构 参数 类型 是否必填 示例值 说明 Priority string 否 3 任务优先级。支持 1~5 的优先级,数字越小优先级越高。任务优先级决定了内部的调度顺序...
大小写英文字母、下划线(_)、短横线(-)和英文句号(.),且首尾只能是数字或字母。 DeployRequest object(POSTApiV1AppUpdateDeployRequest) 否 - 任务部署策略,详情请参见 POSTApiV1AppUpdateDeployRequest 数据结构。 Dependency object(POSTApiV1AppUpdateDependency) 否 - 任务的依赖文件,详情请参见 POSTApiV1AppUpdateDependency 数据结构。 MainClass string 否 com.bytedance.openplatform.SparkPi Jar 类...