指标管理

DataTester的指标新增支持使用虚拟用户属性进行指标过滤，例如，在创建实验指标时，您可以通过虚拟用户属性过滤实验指标。

实验创编

编程实验-服务端实验新增“增强分流均匀性”功能，打开功能开关后，您可以针对某些实验指标或人群，在实验开始前的流量圈选上，对实验流量增强实验各个版本间的均匀性，即在实验开始前保障对应实验指标在各个实验版本上差异不显著，以便提高实验结果的可靠性。

实验报告

• 实验报告中的留存指标新增支持直接查看各留存指标的对比差值。
  
  如上图所示，您可以在图表中便捷的看到指标的差值数据，提高实验指标分析体验和效率。
• 实验报告的总进组人数数据新增支持灵活累计开关（默认关闭）。
  
  灵活累计计算资源消耗比较大，打开后可能会影响您的指标计算速度，如果您需要打开开关，可联系火山引擎技术支持人员开启开关。
• 实验报告的指标曲线图体验优化，指标曲线图可自适应当前指标数据范围，展示最佳图表查阅视觉效果。

实验报告

实验报告新增支持“基准组”的页签，实验开启后，DataTester默认将实验的对照组作为基准组，在展示实验各分组的指标值的同时，其他实验组会基于基准组去计算展示差异值、置信区间的数据。新增“基准组”页签后，您可以单击对应的实验组，将默认的基准组切换为其他实验分组。
当前支持在实验报告、数据指标、高级分析中对各实验分组进行切换实验基准组的操作，如下图所示。

切换实验基准组后：

• 各实验组的实验指标值不变。
• 除新的基准组外，其他实验分组会基于新的基准组重新计算差异值、置信区间，同时，涉及差异值、置信区间数据展示的统计卡片、趋势图表等，也会同步更新对应差异值、置信区间的数据。

通用

为加强产品账号资源的安全性，火山引擎加强了账号跨服务请求的授权校验，由于DataTester产品的部分功能与DataFinder产品功能有联动，因此后续在继续使用DataTester时，您需根据界面提示完成DataTester的跨服务访问请求授权，允许DataTester访问DataFinder服务，保障DataTester功能正常使用。

指标管理

新增提供指标组模版管理功能，您可以在指标组模板页面中创建指标组模板，将常用指标添加至模板中，后续创建实验时可切换使用指标组模板来快捷配置实验指标，提高操作效率。

更多关于指标组模板的介绍详情请参见指标组模版管理。

MAB实验报告

MAB实验报告新增支持非一致性场景下的数据展示。

全局设置-权限管理

SaaS-云原生环境优化了权限管理功能，当前支持对同主账号下的子账号、跨主账号（含跨主账号下的子账号）进行便捷的授权。

• 如果您希望对同主账号下的子账号进行授权，可单击“批量授权”按钮进行授权。
• 如果您希望对其他主账号（含跨主账号下的子账号）进行授权，您可单击“邀请用户”进行授权。
  • 对其他主账号授权时，添加用户的格式为：主账号uid。
  • 对其他主账号下的子账号授权时，添加用户的格式为：子账号名称@主账号uid。

更多关于SaaS-云原生环境下的权限管控操作说明请参见权限管理：SaaS-云原生环境。

场景能力-智能运营

极光推送通道新增支持配置推送自定义消息“自定义配置”。

• 默认配置为极光通道优先（推荐），如果您有自己的极光配置，可以使用自定义配置。
• 选择配置为自定义配置时：
  • 您需单击后方的编辑按钮，在弹出的侧边框中配置自定义通道。
  • 自定义配置的内容为 JSON 格式，DataTester会透传给极光通道，各个手机品牌支持的字段和字段配置指导请参考极光推送文档。
  • 如果自定义配置的 JSON 对象的实际结果与其他三个配置项（极光通道优先、强制极光通道、强制厂商通道）的结果相同，DataTester会自动为您修改为对应的配置项展示。

实验创编

新增支持对已结束的实验添加分析指标的功能，便于在实验结束后结合实际业务分析需要，灵活添加新的分析指标。

• 当前对于已结束的实验，有实验编辑权限的用户可进入实验详情页面，在实验指标配置处单击编辑按钮，支持新增分析指标。
• 同时支持通过OpenAPI的方式修改实验的核心指标或关注指标，详情请参见修改实验关联指标组。

通用

SaaS-云原生环境新增支持多时区设置能力。

• 在接入项目时，新增支持设置当前项目所使用的时区。如果您所在地域为柔佛地域希望使用其他时区的时间作为实验数据的时间，可以通过此功能设置。
• 应用的时区以应用绑定的项目设置结果为准，无需单独设置。

实验报告-敏感人群洞察

优化敏感人群洞察功能页面的交互：优化、补充界面提示文案；调整分页样式等。

智能动态调优MAB

对修改MAB实验的实验版本功能进行了完善，MAB实验-APP小程序优化实验支持在实验过程中添加、减少版本，也支持调整实验版本的下发参数。此功能适用于实验长期在线，且在实验过程中希望能够调整下发版本的参数的场景。

例如希望对app banner做长期的择优选择，实验初期只有3个版本比较，在过程中会根据数据表现淘汰表现差的banner或者增加新的banner参与流量调优。

该功能仅适用于体验不一致的场景，当前支持APP小程序中的客户端调优/服务端调优。
更多详情请参见创建MAB智能调优实验。

实验报告-敏感人群洞察

敏感人群洞察功能新增支持SaaS-云原生的云托管环境。

指标组

给指标组授权时，变更了添加用户的操作交互，解决了此前的性能问题。

实验报告

• 新增智能实验解读能力，在生成实验报告时，可基于事件指标的实验结果数据为您智能分析实验结果。
  

  说明

  当前此功能默认关闭，如果您希望使用此功能，可联系技术支持人员打开功能开关。

• 在实验报告的天级趋势图，和事件指标天级趋势图中，新增“差异相对值”分析功能。
  
  

实验创编-模拟实验

新增模拟实验能力，支持对文案进行AI预测，即可以基于AI能力对不同文案进行PK预测，从而帮助您更快地找到最优文案。

• 您可以直接贴入两版文案，直接进行预测；也支持单击“AI帮我写”来生成一版文案。
• 完成文案的AI预测后，页面会为您展示获胜文案和两版文案的互动次数、获胜概率等预测分析结果。

实验报告-敏感人群洞察

新增敏感人群洞察功能。敏感人群洞察功能是基于Uplift Model模型实现的一套智能洞察敏感人群的功能。是一种在营销、广告等诸多领域发挥独特作用的数据分析工具。与传统预测模型专注于预测事件是否发生（比如用户是否购买产品、病人病情是否好转）不同，它聚焦于预估某个干预行为对结果带来的 “额外提升” 效果。

更多关于敏感人群洞察的功能介绍请参见敏感人群洞察。

通用

DataTester服务新增部署柔佛地域。当前支持的地域详情请参见支持的地域。

通用-体验提升

对产品的交互逻辑做了体验提升，例如，对创建实验的测试用户增加合法性检测等。

系统设置

新增支持指标查询时间偏移参数，如果您在实验开启后发现有某些指标事件的数据明显偏少，可能是由于指标事件的触发早于实验曝光事件的触发，此种场景下您可以通过设置指标查询时间偏移来进一步提高查询指标的正确性。例如，将参数设置为3秒，则后续指标计算时会包含实验曝光事件前3秒内上报的指标事件数据。

更多关于系统设置的操作指导请参见系统设置。

数据概览

优化了产品用量的数据更新时间，当前数据看板的合同用量统计时间改为上午10:00，便于您及时查看用量情况。

通用-性能优化

针对页面加载时间长的问题做了诸多性能优化，页面平均加载时长从4.9s降低到1.455s，支持并行访问用户数944个。

实验创编

新增大模型实验功能，适用于基于大模型做二次开发的应用，此类应用如果需要针对大模型的模型性能等方面开展A/B实验，可使用DataTester的大模型实验功能。

• DataTester提供大模型实验创建模板，您可在DataTester页面直接创建并开启实验；同时，您也可以使用DataTester的配置管理功能来托管大模型的功能Feature。
• 大模型预置事件（$llm_usage_log）和便捷的实验集成SDK，您可高效完成实验SDK集成和大模型性能数据的采集上报。

全局设置-数据概览

开通购买DataTester的MAU资源包后，新增支持在数据概览页面查看MAU的用量相关数据。

实验工具箱

新增支持数据查重工具，如果实验指标数据可能存在重复上报的情况，您可使用数据查重工具进行查找定位，找到疑似重复的数据，进而对重复数据进行处理，避免产生额外费用。

详情请参见数据查重工具（SaaS-云原生）。

通用

• DataTester的资源包计费逻辑优化。当前购买资源包后，在有效期内超出资源包总量的数量才会额外计费，详情请参见计费概述。
• 客户端实验和FeatureFlag，在配置过滤参数时，文本类型的参数支持按照版本序排序，例如，2.1.0和1.9.8这些版本号可以按照版本号进行排序展示。

实验模版

新增实验模版功能，实验模板可以非常快速设置一些实验创建时必填的表单项，或者强制固化表单项里的值。这会方便整个集团建设实验时对表单的控制，提升对表单项的理解清晰度，后续创建实验时可直接引用创建好的实验模板，提高实验创建的效率。

• 创建实验模板
  
• 引用实验模板
  

更多详情介绍请参见实验模版：引用模板创建实验。

PreAA实验数据

SaaS-云原生环境新增PreAA实验指标数据查看能力。PreAA是指两个实验分组用户在实验开始之前的指标对比情况。用户进入实验前14天的指标表现是怎么样的？如果用户在进入实验前的指标波动就比较大，那进入实验后的数据参考意义也会变小。PreAA可以直接帮您观察用户进入实验前14天的数据表现情况。

您可以在实验报告的数据指标页面中，单击切换为PreAA数据，查看用户进入实验前14天的数据表现情况。

差异分析

差异分析功能升级，新增群体指标的分析结果数据，便于在使用差异分析时能便捷地查看群里获胜概率和详细的指标数据。

更多差异分析的详情介绍请参见高级分析：差异分析与群体对比。

智能动态调优MAB

智能动态调优MAB功能体验提升：

• 增加进入调优条件的说明：
  
• 报告页增加进入调优前的状态说明及启动调优后遇到流量不足等情况的状态提醒，增加调优前核心指标的指标数据
  
  
• 增加智能调优流量与评估流量的指标趋势图，支持按照调优轮次区间筛选数据
  
• 下线核心指标的指标分布区间预估

流量计算器

实验流量计算器新增修正多重比较开关。对于实验版本多于2个的实验场景，打开修正多重比较开关后，后续在流量预估时会自动为您修正由于多重比较带来的统计指标犯错率上升的问题。

大模型应用-Web个性化

Web个性化实验结合大模型能力，为您提供AI智能文案建议能力，对于文本修改没有思路、文案最佳版本抉择困难、Web文案千人千文的场景，您可使用AI智能文案能力，高效智能生成文案，提高实验效率。

更多关于智能文案生成的介绍请参见Web个性化：AI智能文案生成。