大数据与反欺诈
社区干货
让欺诈风险无处遁形的计算机视觉| 社区征文
以数据价值为驱动建立智能化的风险预测模型,以此作为欺诈风险防范的强力手段。# 一、层出不穷的欺诈手段伴随信息技术的快速发展,黑产欺诈和电信诈骗等日益猖獗,且呈现高发、多发态势,急需提升银行对交易的风险... 便会大量贷款弥补亏空,此时会有骗贷或恶意不还的欺诈问题。为提升整体风险防控能力,我们在调研先进金融同业基础上,并结合自身业务特点,利用基于深度学习的计算机视觉技术在反欺诈领域做了初步探索。通过在客户贷...
初探金融风控中的信用评分卡搭建全流程 | 社区征文
是一种结合专家经验的数据驱动方式。以平台积累的大量历史数据与第三方数据为基础,根据领域专家经验得到可以表征信用状态的特征、信息与规律,充分利用机器学习算法挖掘借款人的潜在风险,得到信用评级模型,对借款人进行全周期的风险评估。评分卡模型包括申请评分卡、行为评分卡、催收评分卡。其中,申请评分卡是最重要的评分卡,因为平台风险管理的主要风险均来自于申请阶段。除此之外还有反欺诈模型、营销评分卡和客户流失评分卡...
关于大数据计算框架 Flink 内存管理的原理与实现总结 | 社区征文
## 背景介绍最近几年国内大数据apache开源社区计算框架最火的莫过于Flink,得益于阿里在后面的推动以及各大互联网大厂的参与,flink业已成为流式计算事实上的标准。一句话来介绍 Flink 就是 “Stateful Computatio... 解决了基于事件时间处理时的数据乱序和数据迟到的问题。- Window:提供了一套开箱即用的窗口操作,如滚动窗口、滑动窗口、会话窗口,支持非常灵活的自定义窗口满足特殊业务需求。- 带反压的流模型Flink是采用...
基于Flink+Paimon的流式湖仓探索|社区征文
笔者有幸参与其中,希望分享下项目开发经验以及个人技术成长心得。# 一、流式湖仓的建设背景在数字化转型驱动下,数字资源价值加速释放,实时化需求日益成为银行业数据应用新常态,用以准确、实时地感知行内的生产经营变化,提升银行业务的时效性与灵活性,快速支持决策。- 从业务角度看:当前银行业的实时业务主要集中在营销、风控两大领域,涉及反欺诈识别、异常交易监控、达标实时送好礼、MGM渠道拉新、实时报表大屏等场景。同时,...
特惠活动
大数据与反欺诈-优选内容
大数据与反欺诈-相关内容
火山引擎谭待:数据驱动x敏捷开发,业务高速增长的双引擎
如果说推荐算法、大数据技术是支撑字节跳动业务发展的技术能力,那么其迭代创新的核心技术理念又是什么? 10月27上午,在「稀土开发者大会」上,火山引擎总经理谭待以《数据驱动x敏捷开发,业务高速增长的双引擎》为主题... 虚框是数据面。我们通过服务网格将控制平面和数据平面进行了分离,消除了单点故障的可能。比如当数据平面流量过大出现性能问题时,就不会影响到控制平面的路由策略;反过来也是,当控制平面策略负载过重时也不会影响数...
9年演进史:字节跳动 10EB 级大数据存储实战
原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:* 和本地文件系统一样的目录树视图* Append Only 的写入(不支持随机写)* 顺序和随机读* 超大数据规模* 易扩展,容错率高**HDF... 在心跳汇报的返回结果中,会携带 Name Node 对 Data Node 下发的指令。例如,需要将某个副本拷贝到另外一台 Data Node,或者将某个副本删除等。**发展阶段**在字节跳动,随着业务的快速发展,HDFS 的...
地址知识图谱在银行业的应用探索|社区征文
# 一、背景介绍银行业务领域中,地址信息是一项常见的客户信息,如户籍地址、单位地址、寄卡地址等等。这类信息对于客户画像、精准营销、风控反欺诈等工作有着非常重要的意义。然而作为典型的非结构化信息,地址数据如何被有效识别与精确计算存在着以下无法回避的问题。- **表达多样性问题**。由于不同的表述习惯,同一地址会有不同的表述形式,难以直接比较等同。- **层级信息残缺问题**。地址信息存在简略表述习惯,这会导致部分层...
解决方案概述
可信的大模型训练和推理一体化解决方案,主要包含基于可信执行环境的大模型安全解决方案和基于联邦学习的联邦精调解决方案。详情参见大模型安全解决方案。 数据要素流通解决方案基于火山引擎可信隐私计算平台,在确保... 助力客户实现客户侧多方数据联动,满足业务线索精准评级的需求。详情参见线索评级解决方案。 黑产识别解决方案基于火山引擎可信隐私计算平台通过匿踪查询服务客户反电诈业务,提升客户黑灰产识别能力。详情参见黑产识...
人工智能发展六大洞察 | 社区征文
上面这首名诗并非是中国古代那位大家之作,而是浪潮新近发布的全球最大规模人工智能巨量模型—— **“源1.0”** 的杰作。“源1.0”,其参数量高达 `2457` 亿,借助文本分析模型,获取 `5TB` 高质量中文数据集,其作为语... 进入成熟应用阶段的**反欺诈、风险评估、智能推荐等**- 智能供应链、智能之间、智能设备运维等制造业方面发展迅猛- 受限于发展时间、算力、模型、技术、资金等原因的视觉感知、智能油田等应用场景仍处于发展...
实战 | 民生银行云原生混合部署创新实践
离线作业一般是大数据分析、批量任务或者模型训练,属于资源密集型服务,主要负载出现在夜间,可以容忍一定的时延甚至中断,计算资源的使用呈现日低夜高的特征。这两类服务的负载高峰存在明显的时间段错位,在时间维度上... 还需要负载感知调度和弹性配额调度。负载感知调度有两个层面,一是在调度大数据作业 Pod 前要先观察所有计算节点的历史负载,选择负载最低的节点进行调度,同时辅助以 Pod 间反亲和性,让同一个作业的 Pod 尽量均匀分散...
ByteHouse:基于ClickHouse的实时数仓能力升级解读
把离线和实时分开去计算。第三阶段,从2021年至今,越来越多的金融行业用户去提出数据湖相关的需求,包括冷数据,非结构化数据的处理和分析……从某种角度来说,数据湖更像是大数据平台的技术迭代或者升级。对于实时数仓,在金融行业它更多的像是数据湖和大数据平台的关系一样,是某一个细分场景的升级和迭代。比如说在金融行业里,像大数据风控、反欺诈或者说异常的监测场景,这些对于数仓的实时性能力要求更高,倒逼着对数据仓库做细...
基于ClickHouse的复杂查询实现与优化|社区征文
## 项目背景ClickHouse的执行模式与Druid、ES等大数据引擎类似,其基本的查询模式可分为两个阶段。第一阶段,Coordinator在收到查询后,将请求发送给对应的Worker节点。第二阶段,Worker节点完成计算,Coordinator在收到各Worker节点的数据后进行汇聚和处理,并将处理后的结果返回。两阶段的执行模式能...
实战 | 民生银行云原生混合部署创新实践
银行业数据中心的服务大体上分为在线服务和离线作业,在线服务主要是交易类服务,其流量存在周期性,但是对服务质量(SLA)却有极高的要求,主要负载出现在白天工作时间段,夜间的交易负载较低,计算资源的使用呈现日高夜低的特征。离线作业一般是大数据分析、批量任务或者模型训练,属于资源密集型服务,主要负载出现在夜间,可以容忍一定的时延甚至中断,计算资源的使用呈现日低夜高的特征。这两类服务的负载高峰存在明显的时间段错位,在时...
