如何自动格式化终端输入适配本地LLM（llama.cpp）的对话格式？

方案一：直接用交互脚本包装输入（推荐） #

不用折腾终端间通信，直接写个脚本自动处理输入格式，同时启动llama.cpp：

1. 创建脚本文件llama_chat.sh，内容如下：

#!/bin/bash

# 替换成你的llama.cpp启动命令，按需调整参数
LLAMA_RUN_CMD="./main -m llama-2-7b-chat.gguf -c 2048 --color"

# 先发送系统角色提示（可选，根据你的需要修改）
echo -e "<|im_start|>system\n你是一个专业的AI助手，回答简洁准确。<|im_end|>" | $LLAMA_RUN_CMD --interactive

# 循环读取用户输入并自动格式化
while true; do
    read -p "输入: " USER_CONTENT
    [ -z "$USER_CONTENT" ] && continue
    echo -e "<|im_start|>user\n$USER_CONTENT<|im_end|>"
done

2. 给脚本添加执行权限：

chmod +x llama_chat.sh

3. 运行脚本即可，输入内容会自动被包装成要求的格式发送给模型。

方案二：用命名管道实现终端间通信 #

如果必须分开两个终端操作，用命名管道（FIFO）是可靠的进程间通信方式：

1. 创建命名管道：

mkfifo llama_input_pipe

2. 在第一个终端启动llama.cpp，将输入绑定到管道：

./main -m llama-2-7b-chat.gguf -c 2048 < llama_input_pipe

3. 在第二个终端创建格式化脚本pipe_sender.sh：

#!/bin/bash

PIPE_PATH="./llama_input_pipe"

# 初始化发送系统提示（可选）
echo -e "<|im_start|>system\n你是一个乐于助人的助手。<|im_end|>" > $PIPE_PATH

while true; do
    read -p "输入: " USER_CONTENT
    [ -z "$USER_CONTENT" ] && continue
    echo -e "<|im_start|>user\n$USER_CONTENT<|im_end|>" > $PIPE_PATH
done

4. 给脚本加执行权限并运行：

chmod +x pipe_sender.sh
./pipe_sender.sh

此时在第二个终端输入内容，会自动格式化后发送到第一个终端的llama.cpp进程。

为什么你之前的方法无效？ #

终端的输入输出绑定到特定的终端设备文件（如/dev/pts/xx），直接重定向内容到其他终端需要root权限，且这种方式不稳定、不适合长期使用。命名管道是Linux专门设计的进程间通信机制，比直接操作终端设备可靠得多。

内容的提问来源于stack exchange，提问作者Fred Åberg