# 项目分享:智能风控系统## 背景介绍本项目的初衷是解决传统风险控制的一些缺陷。比如,传统方法一般采用系统及静态模型进行实时监控和预测,无法适应灵便的使用场景;此外,处理规模性数据的效率很低,无法提供精确... 特征提取是需要根据业务的需求选择特征,比如均值、标准差、时间序列、市场指标等等。我们需要提取一些统计特征,时间计算等特征,如下:```#均值mean_feature = np.mean(data)#标准差std_feature = np.std(data...
它们在风控系统中的先后顺序是:营销评分卡》申请评分卡》行为评分卡》催收评分卡。这几种评分卡算是很普及了,解决的痛点和应用范围这里不再赘述。感兴趣的同学可以自行了解,本文主要解决开发的流程介绍。 ... 评分卡开发前要经历一个完整的需求分析阶段,在此阶段要与不同业务部门进行多次沟通以达成共识。需要明确的方向如下:1. 模型开发的种类:开发的是哪种评分卡,如申请评分卡、反欺诈模型、行为评分卡、催收评分卡等...
> 本文整理自抖音电商实时数仓研发工程师张健,在 Flink Forward Asia 实时风控专场的分享。本篇内容主要从 Flink CEP 简介、业务场景与挑战、解决方案实践和未来展望四个方面展开介绍。 # 一、Flink CEP 简介... 抖音电商实时数仓团队接到的实时数据规则类业务需求也逐步增多,因此我们开始尝试使用 Flink CEP 支持这些业务场景。下面列举两个典型的业务场景,并介绍 Flink CEP 在这些场景中遇到的挑战。### **业务背景**1....
但是场景需求里都包含了事务支持和流式支持。在具体实现中,三种格式也采用了相似做法,即在数据湖的存储之上定义一个元数据,并跟数据一样保存在存储介质上面。这三者相似的需求以及相似的架构,导致了他们在演化过程... 而对于一些要求比较高的部门,可以单独建一个 Metastore Service 的实例。**持久化的 History Server 服务**![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2bfe...
> 本文整理自抖音电商实时数仓研发工程师张健,在 Flink Forward Asia 实时风控专场的分享。本篇内容主要从 Flink CEP 简介、业务场景与挑战、解决方案实践和未来展望四个方面展开介绍。 # 一、Flink CEP 简介... 抖音电商实时数仓团队接到的实时数据规则类业务需求也逐步增多,因此我们开始尝试使用 Flink CEP 支持这些业务场景。下面列举两个典型的业务场景,并介绍 Flink CEP 在这些场景中遇到的挑战。### **业务背景**1....
投入产出比:三类伪造账号方式的作恶成本存在差异 黑灰产的作弊投入来自于伪造符合活动要求的账号,其方式主要包括规则漏洞、恶意注册或跳转登录、租用真人账号三类,其中利用规则漏洞作恶成本最低,租用真人账号成本... 搭建全生命周期风控体系,持续开展技术与策略对抗面对营销场景下的黑灰产,需要长期跟踪治理活动作弊风险,整合资源打磨形成系统的风控体系,以活动发展为线索对营销安全问题进行全生命周期管理,在活动上线的前、中、...
但是场景需求里都包含了事务支持和流式支持。在具体实现中,三种格式也采用了相似做法,即在数据湖的存储之上定义一个元数据,并跟数据一样保存在存储介质上面。这三者相似的需求以及相似的架构,导致了他们在演化过程... 而对于一些要求比较高的部门,可以单独建一个 Metastore Service 的实例。**持久化的 History Server 服务**![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2bfe...
实时化需求日益成为银行业数据应用新常态,用以准确、实时地感知行内的生产经营变化,提升银行业务的时效性与灵活性,快速支持决策。- 从业务角度看:当前银行业的实时业务主要集中在营销、风控两大领域,涉及反欺诈识... 并根据自身需求申请接入新的源系统实时表,不断丰富实时数据仓库模型。- 共治:借助数据资产平台,用户可查看实时表的表结构、表数据量、字段码值、字段格式、样例数据等信息,针对其不合理之处反馈优化意见。- 共享...
其在数字化转型需求与路径上具有共通之处,且区别于国有大行及股份制银行以及资产规模小于2千亿的区域性银行。 根据区域性银行进行数字化转型的关键流程,结合爱分析对现阶段区域性银行数字化转型需求的调研,在本报告中,爱分析选取了零售营销、零售风控、小微营销、小微风控、供应链金融业务、政府业务、财富管理营销、远程银行、RPA、云平台、数据存储与处理、数据治理、数据分析与可视化、机器学习模型开发、数据安全、智能运维1...
Table 格式:本质上是基于存储的、 Table 的数据+元数据定义。具体来说,这种数据格式有三个具体的实现:Delta Lake、Iceberg 和 Hudi。三种格式提出的出发点略有不同,但是它们的场景需求里都不约而同地包含了... 而对于一些要求比较高的部门,可以单独建一个 Metastore Service 的实例。**持久化的 History Server 服务**![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fdb4edc99fa54b48a02029f615d7b8...
Twitter 开发的第一代流处理系统,只支持一些 low level 的 API。“所有的 Storm 任务都是在开发机上用脚本提交,运维平台处于非常原始的状态。如果 Storm 集群故障,作业都无法自动恢复,甚至无法找到所有存量作... 安全和风控等,并且还在不断增加。单个场景需求也变得更加复杂:推荐业务越来越大,单个作业超过 5 万 Cores;实时数仓业务场景需要 SQL 来开发,且对数据准确性有了更高要求。然而,由于团队人手严重不足,工作进展...
实时风控反作弊等处理,最终分发到下游,主要的下游包括ABTest、推荐、行为分析系统、实时数仓、离线数仓。所以,如果用一句话来概括 **数据流主要业务,其实就是埋点的收集、清洗、分发。**目前在字节跳动... **ETL需求变化频繁**。* **第三点**,**高SLA**要求,下游推荐、实时数仓等业务对稳定性和时效性有比较高的要求。* **最后一点**,在流量大、业务多、SLA要求高的情况下,针对流量、成本、SLA保障等多维度的**...
内容管理平台-产品数据安全说明 火山引擎采⽤业界领先的技术,对产品、⽤户数据进⾏全⽣命周期的安全保障。火山引擎内容管理平台的设计、开发和运营充分考虑了合规性以及⽤户个⼈信息隐私性要求,保证产品满⾜业务运... 人员安全火山引擎内容管理平台建立了安全的人力资源管理流程: 新员工的聘任须经过人力资源专员和岗位需求部门主管的审批,新员工招聘流程与结果记录在人力资源系统中; 新员工录用前,人力资源部会根据岗位的重要性,并...