描述 #

Seed-X 多语言文本翻译模型 - 跨语言文本翻译 核心功能

核心功能 #

• 多语言智能翻译
• 支持多种语言间的文本转换，可通过source_language和target_language参数自定义源语言和目标语言
• 基于Seed-X-Instruct-7B/Seed-X-PPO-7B模型，提供高质量翻译结果
• 支持语种请参考: https://huggingface.co/ByteDance-Seed/Seed-X-Instruct-7B
• 一般场景中，推荐使用Seed-X-PPO-7B模型，其在翻译质量上效果更佳
• 灵活配置与优化
• 支持多种计算精度选择（bfloat16等），适配不同性能需求
• 集成张量并行处理和前缀缓存技术，显著提升推理效率
• 支持自动或手动设备分配，完美适配单卡/多卡环境
• 资源使用
• 推荐使用24G以上显存的GPU

场景优化 #

• 广泛适用于跨语言内容转换、多语言文档处理、国际化应用开发等场景
• 内置批处理机制，高效支持大规模文本数据并行翻译
• 支持精确控制最大生成 tokens 数量，满足多样化业务需求

算子参数 #

输入 #

输出 #

处理后的数组，元素为每个文本的翻译结果。对于处理失败的文本，返回空字符串。

参数 #

如参数没有默认值，则为必填参数

调用示例 #

下面的代码展示了如何使用 daft 运行算子基于Doubao模型对多语言文本进行翻译。

from __future__ import annotations

import logging
import os

import ray

import daft
from daft import col
from daft.las.functions.text.multilingual_text_translate import MultilingualTextTranslate
from daft.las.functions.udf import las_udf

if __name__ == "__main__":
    os.environ["DAFT_RUNNER"] = "ray"

    def configure_logging():
        logging.basicConfig(
            level=logging.INFO,
            format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
            datefmt="%Y-%m-%d %H:%M:%S.%s".format(),
        )
        logging.getLogger("tracing.span").setLevel(logging.WARNING)
        logging.getLogger("daft_io.stats").setLevel(logging.WARNING)
        logging.getLogger("DaftStatisticsManager").setLevel(logging.WARNING)
        logging.getLogger("DaftFlotillaScheduler").setLevel(logging.WARNING)
        logging.getLogger("DaftFlotillaDispatcher").setLevel(logging.WARNING)

    ray.init(dashboard_host="0.0.0.0", runtime_env={"worker_process_setup_hook": configure_logging})
    daft.context.set_runner_ray()
    daft.set_execution_config(actor_udf_ready_timeout=600)
    daft.set_execution_config(min_cpu_per_task=0)

    samples = {
        "text": [
            "这是一篇关于人工智能技术发展的高质量学术论文，内容详实且具有很强的参考价值。",
        ]
    }

    model_path = os.getenv("MODEL_PATH", "/opt/las/models")
    model_name = "Seed-X-PPO-7B"
    max_model_len = 32768
    max_num_seqs = 128
    tensor_parallel_size = 1
    dtype = "bfloat16"
    enable_prefix_caching = True
    gpu_memory_utilization = 0.9
    use_cot = False
    source_language = "Chinese"
    target_language = "English"
    max_tokens = 1024
    batch_size = 4
    seed = 42

    ds = daft.from_pydict(samples)
    ds = ds.with_column(
        "translate_text",
        las_udf(
            MultilingualTextTranslate,
            construct_args={
                "model_path": model_path,
                "model_name": model_name,
                "dtype": dtype,
                "max_model_len": max_model_len,
                "max_num_seqs": max_num_seqs,
                "tensor_parallel_size": tensor_parallel_size,
                "enable_prefix_caching": enable_prefix_caching,
                "gpu_memory_utilization": gpu_memory_utilization,
                "use_cot": use_cot,
                "source_language": source_language,
                "target_language": target_language,
                "max_tokens": max_tokens,
                "batch_size": batch_size,
                "seed": seed,
            },
            num_gpus=1,
            batch_size=1,
            concurrency=1,
        )(col("text")),
    )

    ds.show()

    # ╭─────────────────────────────────────────────────────────────┬────────────────────────────────╮
    # │ text                                                        ┆ translate_text                 │
    # │ ---                                                         ┆ ---                            │
    # │ Utf8                                                        ┆ Utf8                           │
    # ╞═════════════════════════════════════════════════════════════╪════════════════════════════════╡
    # │ 这是一篇关于人工智能技术发展的高质量学术论文，内容详实且具…           ┆ This is a high-quality academ… │
    # ╰─────────────────────────────────────────────────────────────┴────────────────────────────────╯