所幸的是,随着科技的发展,新兴科技不断强化金融科技的应用能力。特别是近几年人工智能和大数据技术的快速发展,能够有效地提高了客户的体验和提升金融系统的风控能力。 那就是智能风控,智能风控可以借助大数据和人工... 模型开发的种类:开发的是哪种评分卡,如申请评分卡、反欺诈模型、行为评分卡、催收评分卡等。不同的评分卡对变量与特征处理的要求不同,因此在开发阶段要明确开发模型的种类。1. 模型开发的目的:本次开发是否为首...
# 引言一直以来,人工智能(AI)在各个领域都表现出了强悍的水准。在学习中,我觉得机器学习具备巨大的潜力。近期接触了一个风险控制项目,务必涉及机器学习行业。因而,我就依据学习了解了机器学习领域的知识。本文将剖析机器学习在项目中的运用以及通过近期的项目分享一些经验。欢迎讨论~# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预...
因此我们将此类型的 Sidecar 称为主路径运行时。****辅路运行时 —— 分布式风控****![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/296ec78983a04d8988f... 第三种模式是旁路运行时,旁路运行时和辅路运行时最大的区别是什么呢?旁路运行时模型无需服务网格的接入。如左图所示, A/B test SDK 是由业务自己集成的,它会访问 A/B test 微服务模式。在右图中,虽然 A/B test 是作...
LakeHouse是什么?简言之,LakeHouse是在 DataLake 基础上融合了 Data Warehouse 特性的一种数据方案,它既保留了 DataLake 分析结构化、半结构化、非结构化数据,支持多种场景的能力,同时也引入了 Data Warehouse 支持... 该服务有几个特点:* 独立于集群之外运行的常驻服务;* 提供持久化的 History 数据存储。当该集群销毁之后,历史数据还可保存 60 天;* 提供原生 History Server UI,用户不会感觉生疏;* 租户间 History 数据隔离;...
实时风控反作弊等处理,最终分发到下游,主要的下游包括ABTest、推荐、行为分析系统、实时数仓、离线数仓。所以,如果用一句话来概括 **数据流主要业务,其实就是埋点的收集、清洗、分发。**目前在字节跳动... 通过规则索引匹配出需要运行的规则,每条规则抽象为一个Filter模块和一个action模块,Filter和action都支持UDF ,Filter筛选命中后,通过action模块对输入数据进行字段映射和清洗,然后写出到OutputMessage中。每条...
实时风控等场景中均有所探索,帮助客户构建云上增长新动力,助力业务敏捷创新。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/ba6cb6fe228641368c230820a3155132~tplv-tld... 运行时、SQL 等各个方面都进行了全方面的优化,极大提升性能,单集群可支持 200+ QPS,目前已经在 User Growth、飞书、电商等十多个业务场景落地,每天的查询规模超过 50W 次。截止目前,基于流式计算 Flink 构建的...
> 本文整理自抖音电商实时数仓研发工程师张健,在 Flink Forward Asia 实时风控专场的分享。本篇内容主要从 Flink CEP 简介、业务场景与挑战、解决方案实践和未来展望四个方面展开介绍。 # 一、Flink CEP 简介... 那么如何让业务配置的规则运行起来就成为下一步待解决的问题。第二阶段,对 Flink CEP 计算任务进行改造,让其支持动态提交规则或者更新规则的能力,从而实现规则与计算任务之间的彻底解耦。解耦之后,不再强制要求每...
安全和风控等众多核心业务。2022 年,该团队完成了对 Flink 计算引擎的云原生化改造,并通过火山引擎正式对外提供云上能力。这不是一个挽狂澜于既倒的英雄故事,没有什么跌宕起伏的情节,也没有耀眼的鲜花与掌声。... 每天有数万个 Flink 作业运行在内部集群上,峰值流量高达每秒 100 亿条数据。单个作业的规模也非常大,每个计算节点使用 3 万左右的并发,整个作业使用 300 多台物理机。Flink 集群的稳定性和性能优化,以及单个超大作...
运行资源消耗、优化建议等。未来我们还期望能够基于作业的提供一些优化建议,比如参数调整等。### 基于火山引擎 EMR 构建企业级数据湖仓接下来我们通过几个案例来看一下构建企业级数据湖仓的最佳实践。#### 案... 可满足实时风控等对时间要求比较高的场景。![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/319178865866435492e534a6ce7af155~tplv-k3u1fbpfcp-5.jpeg?)## 火山引擎 EMR 湖仓方向未来规划...
实时风控等场景中均有所探索,帮助客户构建云上增长新动力,助力业务敏捷创新。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/c65d8fbfb57b46e5a8567fcbe8119039~tplv-tlddh... 运行时、SQL 等各个方面都进行了全方面的优化,极大提升性能,单集群可支持 200+ QPS,目前已经在 User Growth、飞书、电商等十多个业务场景落地,每天的查询规模超过 50W 次。 截止目前,基于流式计算 Flink 构建...
实时风控的场景。当检测到用户有可能存在刷单行为时,我们会将这个用户实时推送给平台治理同学,并做出相应的封禁处置,促进平台的整体生态健康。3. 售后咨询场景。当检测到一个用户发起咨询后,超过 x 分钟都未得到... 那么如何让业务配置的规则运行起来就成为下一步待解决的问题。第二阶段, **对 Flink CEP 计算任务进行改造,让其支持动态提交规则或者更新规则的能力,从而实现规则与计算任务之间的彻底解耦** 。解耦之后,不再...
风控安全、实时大屏等等。在进行实时信息流推荐时,每次用户刷新,App 就会从亿万级别的内容库里,选出用户感兴趣的内容,经过粗排、精排,对这些内容进行打分排序等一系列计算,选出用户感兴趣的内容,这些都跟计算相关。... 如果一个 Flink job 可能是 1000 个容器构成的,就浪费近千个核,规模越大,浪费越严重。通过在运行时动态调节 Flink 任务的使用资源的方法,字节跳动可以在用户无感的情况下,将资源节省下来给更多业务使用。另外就...
实际上图计算对于风控反作弊的异常识别和风险检测更适合。* **推荐模型**:图训练系统也支持推荐的核心模型,这也是字节跳动的的一个核心场景。目前 ByteGraph 在字节跳动内部的使用量有多大?这里列举一组数据:* 服务 **2000+** 内部用户(这里的用户指一个业务线或者一个小的 App)* **1000+**图数据库集群* 日均运行 **1000+** 图计算任务* 服务器规模 **1W+** 台。字节跳动为什么要自研这样一个庞大的系统?作...