重度风控
社区干货
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台
字节跳动也是 Hadoop 生态组件的重度用户。这十年在业务演进的过程中,字节跳动锤炼出了自己的一套方法,他们在保持接口不变的条件下,对底层做了大量的定制化甚至是重写工作。作为火山引擎云原生计算研发负责人,李亚... 风控安全、实时大屏等等。在进行实时信息流推荐时,每次用户刷新,App 就会从亿万级别的内容库里,选出用户感兴趣的内容,经过粗排、精排,对这些内容进行打分排序等一系列计算,选出用户感兴趣的内容,这些都跟计算相关。...
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台
字节跳动也是 Hadoop 生态组件的重度用户。这十年在业务演进的过程中,字节跳动锤炼出了自己的一套方法,他们在保持接口不变的条件下,对底层做了大量的定制化甚至是重写工作。作为火山引擎云原生计算研发负责人,李亚... 风控安全、实时大屏等等。在进行实时信息流推荐时,每次用户刷新,App 就会从亿万级别的内容库里,选出用户感兴趣的内容,经过粗排、精排,对这些内容进行打分排序等一系列计算,选出用户感兴趣的内容,这些都跟计算相关。...
字节跳动 NoSQL 的探索与实践
也是内部业务重度依赖的两大产品。 字节跳动 NoSQL 的最新实践 字节跳动的大部分业务数据可归纳为以下几种类型:* 用户之间的关系:比如关注好友等;* 内容:视频、文章、广告等... 在风控场景,业界以前的常用做法是使用 HBase 加上一个计算引擎。实际上图计算对于风控反作弊的异常识别和风险检测更适合。* **推荐模型**:图训练系统也支持推荐的核心模型,这也是字节跳动的的一个核心场景。...
字节跳动 NoSQL 的探索与实践
也是内部业务重度依赖的两大产品。## 字节跳动 NoSQL 的最新实践字节跳动的大部分业务数据可归纳为以下几种类型:- 用户之间的关系:比如关注好友等;- 内容:视频、文章、广告等;- 用户和内容的连接:用户发布... 风控反作弊:在风控场景,业界以前的常用做法是使用 HBase 加上一个计算引擎。实际上图计算对于风控反作弊的异常识别和风险检测更适合。- 推荐模型:图训练系统也支持推荐的核心模型,这也是字节跳动的的一个核心场...
特惠活动
重度风控-优选内容
重度风控-相关内容
后 Hadoop 时代,字节跳动如何打造云原生计算平台
**字节跳动也是 Hadoop 生态组件的重度用户。这十年在业务演进的过程中,字节跳动锤炼出了自己的一套方法,他们在保持接口不变的条件下,对底层做了大量的定制化甚至是重写工作** 。作为火山引擎云原生计算研发负责... 风控安全、实时大屏等等。在进行实时信息流推荐时,每次用户刷新,App 就会从亿万级别的内容库里,选出用户感兴趣的内容,经过粗排、精排,对这些内容进行打分排序等一系列计算,选出用户感兴趣的内容,这些都跟计算相关。...
字节跳动杨震原:抖音电商是如何实现数据驱动的?
业务运营重度依赖数据,每天都需要根据数据来做决策,数据必须准时产出。这就带来了第三大挑战,就是稳定。 要想稳,实际上有一些基础的工作,比如监控、运维质量等。我这里想讲的一点是数据治理,在实时、敏捷的同时保证... 对运营和风控等一线人员,他们可能需要看业务数据,比如罗盘,同时他们也可能需要BI(敏捷分析平台),可能需要人群画像、行为分析等等能够指导一线工作的工具。因此我们针对不同的业务角色,也会去专门地定制不同的产品来...
从混合部署到融合调度:字节跳动容器调度技术演进之路
属于重度算力要求服务。视频处理、机器学习和大数据服务属于偏离线的服务,它们为推广搜离线训练、视频处理、数据报表提供数据处理支持,通常运行在 Hadoop、Mesos 等调度系统上。基于上述业务类型划分,云原生技术在字节跳动业务中的落地过程如下图所示:可靠消息最...
干货 | 实时数据湖在字节跳动的实践
而这些重度汇总过后的实时数据使用率相对来说是比较低的。因此我们和数仓的同学共同推进了一个实时多维汇总的方案落地。数仓的同学通过实时计算引擎完成数据的多维度的轻度汇总,并且实时地更新入湖。下游可以灵活地按需获取重度汇总的数据,这种方式可以缩短数据链路,提升研发效能。