如何让Log4j仅在输出到TTY时启用日志着色？

问题背景 #

我们的Bash脚本已实现仅当stderr是终端（TTY）时，才为日志消息添加颜色：

if [ -t 2 ]
then
    function log {
        # 当stderr是终端时，用蓝色显示消息
        printf "%(%F %T)T %s \e[1;34m%s\e[1;0m\n" -1 ${0##*/} "$*" >&2
    }

else
    function log {
        printf "%(%F %T)T %s %s\n" -1 ${0##*/} "$*" >&2
    }
fi

现在希望Java程序通过Log4j实现同样逻辑：仅当stderr输出到TTY时才启用日志着色。最初尝试在PatternLayout中添加%highlight{}：

<Appenders>
    <Console name="stderr" target="SYSTEM_ERR">
        <PatternLayout
            pattern="%d{yyyy-MM-dd HH:mm:ss} %highlight{%-5p} %c{1}:%L - %m%n"/>
    </Console>
</Appenders>

但该配置会无条件启用着色，即使stderr被重定向到文件或分页器中。后续尝试添加noConsoleNoAnsi="true"，但由于场景中stdout通常会被捕获，而System.console()只要stdout或stderr任一不是TTY就会返回null，导致即使stderr是TTY时着色也被禁用。

解决方案 #

Log4j允许通过自定义AnsiSelector实现类，精准控制ANSI颜色的启用条件。我们可以编写一个仅检测stderr是否为TTY的Selector：

1. 自定义AnsiSelector实现类 #

import org.apache.logging.log4j.core.pattern.AnsiSelector;
import java.io.FileDescriptor;
import java.lang.reflect.Method;

public class StdErrIsTtySelector implements AnsiSelector {
    @Override
    public boolean isAnsiEnabled() {
        try {
            // 通过反射调用JDK内部方法检测stderr是否为终端
            Method isTerminalMethod = Class.forName("sun.misc.IOUtil")
                    .getMethod("isTerminal", FileDescriptor.class);
            return (boolean) isTerminalMethod.invoke(null, FileDescriptor.err);
        } catch (Exception e) {
            // 反射失败时回退到默认逻辑
            return System.console() != null;
        }
    }
}

2. 配置Log4j使用自定义Selector #

在Log4j的XML配置文件中，为PatternLayout指定ansiSelector属性为自定义类的全限定名：

<Appenders>
    <Console name="stderr" target="SYSTEM_ERR">
        <PatternLayout
            pattern="%d{yyyy-MM-dd HH:mm:ss} %highlight{%-5p} %c{1}:%L - %m%n"
            ansiSelector="com.yourpackage.StdErrIsTtySelector" />
    </Console>
</Appenders>

说明 #

• 该实现通过反射调用JDK内部的sun.misc.IOUtil.isTerminal()方法，直接检测stderr对应的文件描述符是否为TTY，不受stdout状态的影响。
• 若反射调用失败（比如不同JDK版本内部方法变更），会回退到默认的System.console()判断逻辑，保证兼容性。

内容的提问来源于stack exchange，提问作者Mikhail T.