You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

Flink对特定状态禁用保存点

Flink 中,可以使用 CheckpointedFunction 接口来实现自定义算子,并在其中禁用保存点。以下是示例代码:

public class DisableSavepointOperator<T> extends RichMapFunction<T, T> implements CheckpointedFunction {
    private boolean disableSavepoint;
    private ListState<Boolean> disableSavepointState;
    
    @Override
    public void initializeState(FunctionInitializationContext context) throws Exception {
        disableSavepointState = context.getOperatorStateStore().getUnionListState(
                new ListStateDescriptor<>("disable-savepoint-state", Types.BOOLEAN));
        if (context.isRestored()) {
            disableSavepoint = disableSavepointState.get().iterator().next();
        }
    }

    @Override
    public void snapshotState(FunctionSnapshotContext context) throws Exception {
        disableSavepointState.clear();
        disableSavepointState.add(disableSavepoint);
    }
    
    @Override
    public T map(T value) throws Exception {
        if(disableSavepoint){
            // 对于禁用保存点的特定状态,不执行保存点
            return value;
        }else{
            // 执行正常的计算逻辑
            return processValue(value);
        }
    }

    private T processValue(T value) {
        // 正常的计算逻辑
        return value;
    }

    public void disableSavepoint() {
        disableSavepoint = true;
    }
}

在示例代码中,禁用保存点的状态用布尔值 disableSavepoint 表示,并持久化在 ListState 中。当禁用保存点时,map() 方法不会执行保存点。最后,通过调用 disableSavepoint() 方法来禁用保存点。

需要注意的是,禁用保存点会对 Flink 稳定性产生影响,因此仅应在必要时使用。

本文内容通过AI工具匹配关键字智能整合而成,仅供参考,火山引擎不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系service@volcengine.com进行反馈,火山引擎收到您的反馈后将及时答复和处理。
展开更多
面向开发者的云福利中心,ECS 60元/年,域名1元起,助力开发者快速在云上构建可靠应用

社区干货

关于大数据计算框架 Flink 内存管理的原理与实现总结 | 社区征文

并提供了 TwoPhaseCommitSinkFunction 供用于实现自定义外部存储的端到端 exactly-once 保证。)- state有状态计算:支持大状态、灵活的状态后端- Flink 还实现了 watermark 的机制,解决了基于事件时间处理时的... 由于数据集对象的类型固定,对于数据集可以只保存一份对象schema信息,节省大量的存储空间。同时对于固定大小的类型,也可以通过固定的偏移位置存取。访问某个对象成员变量,可以可以直接通过偏移量,只是序列化特定的对...

字节跳动使用 Flink State 的经验分享

**前言**-------Flink 作业需要借助 State 来完成聚合、Join 等有状态的计算任务,而 State 也一直都是作业调优的一个重点。目前 State 和 Checkpoint 已经在字节跳动内部被广泛使用,业务层面上 State 支持了数据集成、实时数仓、特征计算、样本拼接等典型场景;作业类型上支持了 Map-Only 类型的通道任务、ETL 任务,窗口聚合计算的指标统计任务,多流 Join 等存储数据明细的数据拼接任务。 以 WordCount 为例,假设...

Flink OLAP 在字节跳动的查询优化和落地实践

再提交给 Flink Session Cluster 的 JobManager,JobManager 的 Dispatcher 组件会创建一个对应的 JobMaster,并根据特定的调度规则将 Task 部署到对应的 TaskManager 上执行,最后将执行的结果返回给 Client。![p... 因此针对 OLAP 下的监控体系就尤为重要。除了流批的集群状态监控外,OLAP 场景下特有的慢查询分析和监控,是需要额外构建的。在稳定性方面,第一个挑战是建设 OLAP 容灾能力。流批和 OLAP 的故障恢复策略不同,流式作...

特惠活动

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

Flink对特定状态禁用保存点 -优选内容

关于大数据计算框架 Flink 内存管理的原理与实现总结 | 社区征文
并提供了 TwoPhaseCommitSinkFunction 供用于实现自定义外部存储的端到端 exactly-once 保证。)- state有状态计算:支持大状态、灵活的状态后端- Flink 还实现了 watermark 的机制,解决了基于事件时间处理时的... 由于数据集对象的类型固定,对于数据集可以只保存一份对象schema信息,节省大量的存储空间。同时对于固定大小的类型,也可以通过固定的偏移位置存取。访问某个对象成员变量,可以可以直接通过偏移量,只是序列化特定的对...
Flink 基础使用
图片来自 Flink 官方文档:https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/overview/deployment-modes 模式 描述 优缺点 Application模式 Application 模式为每个提交的应用程序创建一个集群,该集群可以看作是一个仅在特定应用程序的作业之间共享的 Session 集群,并在所有作业完成时关闭。在整个应用程序的粒度上,Application 模式提供了与 Per-Job 模式相同的资源隔离和负载均衡保证。作业的 mai...
字节跳动使用 Flink State 的经验分享
**前言**-------Flink 作业需要借助 State 来完成聚合、Join 等有状态的计算任务,而 State 也一直都是作业调优的一个重点。目前 State 和 Checkpoint 已经在字节跳动内部被广泛使用,业务层面上 State 支持了数据集成、实时数仓、特征计算、样本拼接等典型场景;作业类型上支持了 Map-Only 类型的通道任务、ETL 任务,窗口聚合计算的指标统计任务,多流 Join 等存储数据明细的数据拼接任务。 以 WordCount 为例,假设...
EMR Java Flink
1 概述EMR Java Flink任务适用于实时任务开发场景,支持引用资源Jar包的方式。本文将为您介绍 EMR Java Flink 任务的相关使用。 2 使用前提DataLeap产品需开通数据开发特惠版、DataOps敏捷研发、大数据分析 或 分布... 选择任务:流式数据 EMR Java Flink。 填写任务基本信息: 任务名称:输入任务的名称,允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,需要在127个字符以内。 保存至: 选择任务存放的目标...

Flink对特定状态禁用保存点 -相关内容

Flink OLAP 在字节跳动的查询优化和落地实践

再提交给 Flink Session Cluster 的 JobManager,JobManager 的 Dispatcher 组件会创建一个对应的 JobMaster,并根据特定的调度规则将 Task 部署到对应的 TaskManager 上执行,最后将执行的结果返回给 Client。![p... 因此针对 OLAP 下的监控体系就尤为重要。除了流批的集群状态监控外,OLAP 场景下特有的慢查询分析和监控,是需要额外构建的。在稳定性方面,第一个挑战是建设 OLAP 容灾能力。流批和 OLAP 的故障恢复策略不同,流式作...

使用 Flink 进行日志数据分析处理

背景信息Flink 可以实时从各种数据源中读取日志数据,并进行复杂数据的处理和分析,且可以灵活地处理各种半结构化数据类型的日志数据,并将处理的结果实时写入 ES。ES 可以实时存储和查询海量的日志数据。数据处理任... 如果您的 Kafka 实例关闭了该功能,则无法自动创建,请重新开启该功能。相关文档,请参见开启自动创建 Group 功能。 读取并发度 读取数据的并发度,默认与所选 Topic 的分区数一致,支持手动修改。 默认消费起始位置...

Serverless Java Flink

选择任务:流式数据 Serverless Java Flink。 填写任务基本信息: 任务名称:输入任务的名称,只能由数字、字母、下划线、-和.组成, 首尾只能是数字、字母,且允许输入 1~63 个字符。 保存至: 选择任务存放的目标文... 能更方便了解输入的 Flink 参数。 说明 可在对应分类下,按照关键词搜索需要使用的参数。 若在指定分类下,无法搜索到对应参数,可在“其它参数”类别,自行进行输入。 填写在“其它参数”类别下的参数,若隶属于“S...

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(1)

> > 字节跳动开发套件数据集成团队(DTS ,Data Transmission Service)在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ ->... Flink 通过在数据流中注入 barriers 将数据拆分为一段一段的数据,在不终止数据流处理的前提下,让每个节点可以独立创建 Checkpoint 保存自己的快照。每个 barrier 都有一个快照 ID ,在该快照 ID 之前的数据都会进入...

干货|字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(2)

**Flink日志查看**排查过程中,我们首先查看 Flink Job manager 和 Task manager 在 HDFS 故障期间的日志,发现在 Checkpoint id 为 4608 时, task 2/3/6/7 都产出了若干个文件。而 task 0/1/4/5 在 Checkpoint id 为 4608 时,都由于某个文件被删除造成写入数据或者关闭文件时失败。如 task 0 失败是由于文件/xx/\_DUMP\_TEMPORARY/cp-4608/task-0/date=20211031/18\_xx\_0\_4608.1635674819911.zstd被删除而失败。...

State Migration on Flink SQL

对用户屏蔽掉底层细节,意味着 SQL 作业会丧失一些代码层面的灵活度。其中一个非常重要的话题就是 **SQL 作业迭代中状态的保持——状态迁移**。### **现状**![picture.image](https://p6-volc-community-sign.... 为什么要迁移旧状态呢?**除了一些简单的 ETL 任务,很多流式任务承载着复杂的业务逻辑,例如:计算每分钟的订单总额。这些计算逻辑的中间结果在 Flink 内部会作为状态保存,方便在 Failover 或迭代后基于上一个状态...

字节跳动流式数据集成基于 Flink Checkpoint 两阶段提交的实践和优化背景

Flink 通过在数据流中注入 barriers 将数据拆分为一段一段的数据,在不终止数据流处理的前提下,让每个节点可以独立创建 Checkpoint 保存自己的快照。每个 barrier 都有一个快照 ID ,在该快照 ID 之前的数据都会进入... SnapshotState 阶段对应 2PC 的两个阶段中的第一个阶段。主要操作是关闭正在写入的文件,并将任务的 state (主要是当前的 Checkpoint id 和 task id)存储起来。## Notify Checkpoint 完成阶段该阶段对应 2PC 两...

Serverless Flink SQL

1 概述DataLeap接入了流式计算 Flink 版,在关联 Flink 的项目和资源池后,可以进行 Flink 作业开发。可以通过 Serverless Flink SQL 作业实现不同存储系统之间的 ETL 等。本文以一个简单的示例,将为您介绍 Serverle... 选择任务:流式数据 Serverless Flink SQL。 填写任务基本信息: 任务名称:输入任务的名称,只能由数字、字母、下划线、-和.组成, 首尾只能是数字、字母,且允许输入 1~63 个字符。 保存至: 选择任务存放的目标文...

字节跳动 Flink 基于 Slot 的资源管理实践

管理作业的执行状态;- **ResourceManager** 管理 Flink 集群的资源和资源分配;- **TaskManager** 管理 Flink 计算任务的执行。Flink 作业被提交到资源管理器 (Yarn/K8s) 后,资源管理器根据作业所需的资源配... 我们知道 TaskManager 启动时会指定进程的总内存大小,这块的内存会被分为堆内内存、堆外内存,其中堆外内存又被分为 Managed Memory 和 Direct Memory,对具体内存划分有兴趣的小伙伴可以通过 **Flink 内存模型**详细...

特惠活动

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

一图详解大模型
浓缩大模型架构,厘清生产和应用链路关系
立即获取

最新活动

爆款1核2G共享型服务器

首年60元,每月仅需5元,限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询