如何在Mojo语言中运行Falcon-180B模型？复制代码报错求助

核心报错原因 #

• Mojo语法规则限制：Mojo不允许在文件全局作用域直接写赋值、函数调用等表达式，所有可执行代码必须放在函数（如main）内部，这是大部分expressions are not yet supported at the file scope level报错的根源。
• Python库兼容性问题：Mojo原生无法直接识别transformers、torch等Python第三方库，必须通过Mojo的Python互操作机制调用。
• 语法细节差异：Mojo对缩进要求更严格，且暂不支持Python的f-string语法，导致print(f"Result: ...")出现语法错误。

解决步骤 #

1. 启用Python互操作导入依赖库 #

Mojo提供了Python模块来调用Python生态的库，需要先导入并初始化Python环境，再加载transformers和torch。

2. 将代码封装到main函数内 #

所有可执行逻辑必须放在函数内部，Mojo的程序入口通常是main函数。

3. 替换不兼容的语法 #

把Python的f-string替换为Mojo支持的字符串拼接方式，同时严格遵守缩进规则。

修正后的Mojo代码 #

from Python import Python

fn main():
    # 初始化Python环境并导入所需库
    let python = Python.import_module(__name__)
    let transformers = Python.import_module("transformers")
    let torch = Python.import_module("torch")

    let model = "tiiuae/falcon-180b"

    let tokenizer = transformers.AutoTokenizer.from_pretrained(model)
    let pipeline = transformers.pipeline(
        "text-generation",
        model=model,
        tokenizer=tokenizer,
        torch_dtype=torch.bfloat16,
        trust_remote_code=True,
        device_map="auto",
    )
    let sequences = pipeline(
        "Girafatron is obsessed with giraffes, the most glorious animal on the face of this Earth. Giraftron believes all other animals are irrelevant when compared to the glorious majesty of the giraffe.\nDaniel: Hello, Girafatron!\nGirafatron:",
        max_length=200,
        do_sample=True,
        top_k=10,
        num_return_sequences=1,
        eos_token_id=tokenizer.eos_token_id,
    )
    for seq in sequences:
        print("Result: " + seq["generated_text"])

额外注意事项 #

• 运行前需确保Python环境已安装transformers、torch、accelerate等依赖（可通过pip install transformers torch accelerate安装）。
• Falcon-180B属于超大模型，需要足够的GPU显存（建议80GB以上显存的GPU，或使用模型并行），否则会出现显存不足的问题。
• Mojo目前仍处于早期开发阶段，Python互操作可能存在部分兼容性问题，若遇到其他报错可优先检查库版本是否匹配。

内容的提问来源于stack exchange，提问作者Bitdom8