SaaS产品动态
最近更新时间：2023.12.25 11:12:32
首次发布时间：2023.01.06 17:07:33
数据管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 归因配置环节：
|
特征工程
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 特征列表的关联栏位数量，之前仅显示手动发布且关联的栏位的数量，当前将在线模型中使用且发布到线上的栏位数量也加进来。 |
策略管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 新增消重开放接口，推荐平台开放 OpenAPI 支撑用户进行消重配置和上下线配置，从而实现根据用户场景按需配置。接口详情详见开发参考->消重开放接口。 |
栏位管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 在栏位管理中，单击右上角「更多栏位详情」，在线特征明细显示关联方式：在线模型使用、手动发布。 |
数据管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 归因配置环节，支持 spm 自定义场景配置时某一段为空，即去除每段不为空的校验。 |
策略管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 动态筛选线上参数未上传时，过滤逻辑调整。详细逻辑参考最佳实践的”通用动态筛选，实现用户个性化筛选“。 |
栏位管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 电商行业粗排支持模板公式。 |
模型开发
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 自定义模型任务记录页面，支持查看训练任务的训练日志，方便用户通过训练日志排查问题。 |
数据管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 去重配置页面，各行业支持对行业相关的所有行为做去重设置，当用户在行为表中添加自定义行为时，也支持对该自定义行为进行去重配置。同时支持配置去重字段。 | |
新功能 | 归因任务和去重任务支持重跑。
| |
优化 | 归因配置页面，全局配置支持配置归因缓存时间、延迟时间。 | |
优化 | 各行业类目字段对齐。
|
特征工程
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 支持通过复制建表语句快速建表，即提供基于SQL建表方式。 |
策略管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 使用自定义召回/自定义规则开通编译服务流程自动化。 |
栏位管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 电商行业支持粗排功能。
|
特征工程
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
优化 | 流式样本 dump 分区字段支持自定义。在新建样本页面，设置需要在样本中保留原始值的字段小节，添加预置字段增加__meta__ts字段。 |
栏位管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 在线服务支持关闭个性化推荐，通过在推荐 API 接口请求消息中携带 ClosePersonalizedRecommend 参数表示是否关闭个性化推荐功能。
|
策略管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 在线服务rank扩展点开放，新建自定义规则页面，规则类型增加自定义排序公式。 | |
优化 | 新建内置规则页面，规则类型选择保量规则时，支持规则配置时公式参数放开。 |
特征工程
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 新建窗口聚合类任务时，支持物品数据来源选择行为数据来源中已选择的行为表，即支持从行为表中选择物品维度。 | |
优化 | 新建样本时，将小节标题“辅助信息”修改为“设置需要在样本中保留原始值的字段”，且辅助信息支持灵活、便捷配置。当添加自定义字段时，先选择原始字段中表的具体字段，样本中的字段名称、样本中的字段类型将自动生成，且样本中的字段名称的格式默认为在原始字段名称前加 “meta” 前缀。 |
模型开发
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 预置模型支持load ckpt，新建训练任务页面，训练模式配置新增支持预加载模型。 |
策略管理
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 物品池支持选择tags字段、自定义字段支持array类型过滤。 | |
优化 | 在线服务不合理参数范围修正。 |
模型开发
更新类型 | 功能描述 | 产品截图说明 |
|---|---|---|
新功能 | 自定义模型编辑代码页面，新增插入特征，支持通过选择样本快速生成features.py文件，点击覆盖后，样本的特征将覆盖用户可编辑的features.py文件中的当前内容。 |
策略管理
【优化】批式召回时间窗口最长支持365天。
栏位管理
【新功能】栏位配置增加QPS和API超时时间。
【优化】物品池支持查询status!=1的物品，补充物品更新时间，便于追溯物品更新记录。
【优化】物品池性能优化，优化了物品池查询的体验。
特征工程
【新功能】批式样本支持天级行为与在线特征拼接。
【新功能】批式样本可以指定设定在若干天后执行，用以留出足够的间隔对样本数据进行修正。
【新功能】流式窗口聚合类特征抽取方法支持更多参数。
数据管理
【新功能】各行业除模板行为外，均支持自定义行为。自定义的行为可用于特征样本、召回、去重等下游各环节。
数据管理
【优化】接入增量实时数据时，若当前表更新频率比较低，可开启断流自动跳过；开启后，该数据表实时数据出现断流时，第二天零点将执行自动跳过。
特征工程
【优化】用户、父物品 Count 类窗口聚合任务目前支持统计跨天的数据了，最多支持到最近365天。
模型开发
- 【新功能】针对已经发布的自定义模型，支持推理资源更配。
- 【新功能】自定义模型支持配置动态扩缩容。
策略管理
【优化】模型召回的生效时间由T+1改为当天生效。
策略管理
【新功能】除内置的业务规则，可以支持创建自定义业务规则，目前支持 3 种，“自定义过滤”、“自定义重排”和“自定义返回字段”。
- 自定义过滤：在平台内置的过滤规则之外新增自定义的过滤规则，在去重规则、动态筛选、物品池、负反馈过滤 执行完成后的物品列表上再进行过滤。
- 自定义重排：在平台内置的 加权、打散、物品池强推规则 执行完成后的物品列表上，自定义处理规则，返回处理后的物料集合。
- 自定义返回字段：在平台定义的推荐返回字段基础上生效，可拓展最终返回推荐结果需要包含的自定义返回信息。
自定义规则开发：
- 规则编写：首先在平台上创建一个自定义的业务规则（以自定义重排为例），选择自定义重排进入代码编写页面。
- 规则测试：编写完策略代码后，可以在页面上通过测试功能即时测试业务逻辑是否正确，验证正确之后即可进行自定义策略的发布。
- 规则上线：自定义规则发布完成之后，需要通过在线服务上线来实际生效这个自定义规则。
平台整体
- 【新功能】demo支持自定义特征和自定义模型。
特征工程
- 【新功能】创建 kv 导入类任务时支持根据前缀映射输入表和输出表的字段，改善创建 kv 导入类任务时的操作效率。
- 【优化】优化了一些场景中编辑表单项的交互并提升了页面性能，涉及功能有：新建、编辑表格时配置字段，新建、编辑 kv 导入类任务中配置字段，批量新建原始特征配置原始特征，批量新建特征时配置特征以及新建编辑样本时编辑辅助信息。
- 【优化】新增了 kv 表及窗口聚合类任务最多 500 个字段的限制，以及单个项目中所有 kv 表最多 5000 个字段的限制，以避免潜在的线上处理压力。
- 【其他】新增了 publish_time 和 read_count 辅助信息字段，详见：特征 - 辅助信息。
模型管理
- 【新功能】支持特征重要性评估，通过表单创建评估任务，可快速创建评估任务，并查看特征重要性评估报告。价值：
- 淘汰没用的特征，在不影响模型效果的前提下缩小model size，减少资源用量，提高模型迭代效率。
- 推动弱特征的下线，减少资源用量。
- 在对模型做加法时选择增益较高的特征。
- 增加模型的可解释性，帮助算法工程师对模型、特征进行理解。
- 通过特征重要性间接提供策略建议。
栏位管理-物品池
- 【新功能】支持同一强插位同时配置时间段不重合的强插内容。
模型管理
- 【新功能】TensorBoard支持profile。
描述：支持直接跳转TensorBoard查看profile
解决的问题：辅助排查模型训练性能问题
数据管理
- 【优化】数据探查报告按表拆分。
描述：由按天产出报告（必须三张表都完成同步才可产出）调整为按表产出报告（先同步完成可先产出）
解决的问题：解决报告产出不够灵活的问题
特征工程
- 【新功能】特征工程基启用模板时，也可以使用预置模型功能。
- 【新功能】创建数据表时支持通过导入其他表字段的方式快捷创建。
- 【优化】通过编写 sql 创建数据处理任务时，可以使用 udf 对非主键类ID字段进行 Hash 。
- 【优化】kv 类表中的“数据更新时间”选项现在支持在没有关联任务时进行修改。
- 【其他】辅助信息中的 vid 改为必选。
平台整体
- 【新功能】电商相关推荐 。
描述：平台电商行业支持相关推荐场景。
对线上影响：电商行业客户可以创建相关推荐的推荐类型，实现相关推荐服务。
数据管理
- 【新功能】支持节点配置额外归因字段 。
描述：除全局归因字段外，支持在节点上配置额外的归因字段。
解决的问题：部分路径有特殊的归因字段时，可在节点上进行配置，而不必每条路径都归因该字段。
- 【新功能】丰富阻断功能：正排候选、倒排、效果指标任务纳入阻断 。
描述：数据出现阻断问题时，正排候选、倒排、效果指标任务也需要阻断，且需要根据所依赖表的阻断情况判断。
解决的问题：避免存在阻断问题时仅阻断特征样本而未阻断其他下游任务，导致数据不一致的情况。
- 【优化】效果数据支持scm分组对比。
描述：查看效果指标scm多选时，可支持分组对比。
解决的问题：解决需要分组对比指标时来回切换使用体验不友好的问题。
特征工程
- 【新功能】特征工程支持模板配置。
描述：自动化特征工程将作为特征工程的预置模板内容，可以按需启用。除了依然保持自动初始化生成特征和样本的相关任务的能力外，还支持基于模板预置内容进行自定义开发。
解决的问题：使用自动化特征的客户，产品上无法支持自定义开发特征的需求。
对线上的影响：新应用中“自动化特征”不可见。
- 【优化】表格及消息队列类任务体验及能力优化 。
描述：大幅优化了表格及消息队列类任务编辑、调试的体验，新增支持调试流式任务、优化调试日志、支持显示查询结果、支持'${date+-n}'语法以及支持调试在独立环境中进行。
解决的问题：集中解决了过往内部及客户反馈的体验及能力不足的问题。
在线服务
- 【新功能】召回/粗排支持多目标模型。
描述：召回和粗排阶段可以支持选择多目标模型。
对线上影响：现有召回/粗排只能使用单目标模型，上线后可以使用多目标模型。
- 【优化】下发消重配置支持取并集/交集 。
描述：下发消重配置支持取并集或交集；对行为消重，维持现有默认取交逻辑。
平台整体
- 【新功能】平台新增金融行业模板。
解决的问题：新增金融行业模板，满足金融行业客户需求。
数据管理
- 【新功能】丰富阻断功能：字段合格校验支持阻断。
描述：重要字段（如update_time/bhv_time）的校验纳入阻断。
解决的问题：及时发现重要字段的问题。
特征工程
- 【新功能】特征工程支持归档用户自己创建的内容。
描述：在用户自己创建的内容没有被下游模块用到时，用户可对其进行归档，回收用于测试及因为其他原因已经不再需要的内容。
- 【新功能】特征工程天级用户/父物品的 recent 类窗口聚合类任务支持不去重。
描述：创建天级用户/父物品的 recent 类窗口聚合类表时，支持选择生成方式为去重或不去重。
- 【新功能】特征工程全面支持父物品维度。
描述：在数据处理、原始特征、特征及样本各模块中都支持了父物品及父物品主键相关的选项用于标记数据、特征的维度是父物品。
- 【优化】内容社区新增 comment 行为 cp/recent 特征。
描述：内容社区的特征模板中，默认加入了 comment 行为的 cp/recent 类特征。
- 【新功能】特征工程 SQL 任务新增对 CutWord 算子的支持。
描述：可以在编写 sql 时使用切词函数，对中文短语进行切词。
模型开发
- 【优化】多目标支持分类与回归目标一起训练。
- 【优化】支持预加载流式阶段的 ckpt 重训。
描述：使用流式 ckpt 重训，降低训练成本。
在线服务
- 【新功能】去重增加下发去重以及分钟级别去重。
描述：去重可以实现下发以及所有行为类型去重，同时支持分钟级别进行去重。
- 【新功能】在线服务业务规则增加卡片规则。
描述：可以将满足条件的内容聚合成一个卡片进行展示，聚合后的卡片将作为一个整体进行打散/加权等操作。
- 【新功能】打散规则增加跨刷打散开关。
描述：客户可以灵活配置每个打散规则是否开启跨刷打散。
- 【新功能】负反馈规则。
描述：被用户标记为不喜欢的某个物品或者某类物品，通过配置负反馈规则，在推荐结果中进行降权或者过滤。