You need to enable JavaScript to run this app.
导航

数据求交/对齐

最近更新时间2022.06.21 17:12:41

首次发布时间2022.06.21 17:12:41

  1. 结果数据集列表页,点击【创建数据集】
  2. 进入创建数据集页面,填写数据集名称,选择数据任务类型(求交或对齐),选择我方数据集和合作伙伴数据集(参数配置可使用默认值),选填数据集描述,点击【确认创建】
任务类型参数参数说明选填/必填填写示例
PSI求交imagefedlearner镜像地址必填artifact.bytedance.com/fedlearner/fedlearner:882310f
num_partitions数据分区的数量必填2
raw_worker_cpuraw_data 任务的 worker cpu大小选填4000m
raw_worker_memraw_data 任务的 worker 内存大小必填8Gi
batch_size原始数据是一批一批的从文件系统中读出来,batch_size为batch的大小必填102400
psi_worker_cpupsi_data_join 任务的 worker cpu大小必填4000m
psi_worker_mempsi_data_join 任务的 worker 内存大小必填8Gi
master_cpu任务的 master cpu大小必填2000m
master_mem任务的 master 内存大小必填4Gi
对齐driver_coresspark driver pod 的核数必填1
executor_coresspark executor pod 的核数必填2
executor_memspark executor pod 的内存大小必填4g
  1. 创建成功后,结果数据集列表页新增一条结果数据集,合作伙伴侧也会同步展示。
  2. 点击数据集名称进入数据集详情
    1. 任务详情以流程图展示生成该数据集的流程。
    2. 数据探查页可查看样本数据及统计信息。
    3. 关联数据集页可查看使用此数据集进行数据任务的数据集。

如需查看数据集关联任务信息,可进入【任务管理】模块查看任务详情。