执行任意Gremlin查询时如何捕获所有被访问节点的路径？

以下是不同场景下可落地的实现方案：

方案1：基于Gremlin Server钩子的无侵入捕获 #

• 所有兼容Apache TinkerPop规范的图数据库都支持Gremlin Server的自定义扩展能力，你可以实现InvocationHook接口自定义执行拦截器，在查询执行的每一步回调中捕获当前遍历器访问的所有节点、边、属性数据，这个方案对输入的任意Gremlin查询完全透明，不需要修改原查询逻辑，能覆盖所有执行过程的访问数据。
• 核心实现逻辑示例：

public class AccessCaptureHook implements InvocationHook {
    private final ThreadLocal<Set<Element>> accessedElements = new ThreadLocal<>();

    @Override
    public Object invoke(final Traversal.Admin<?, ?> traversal, final Method method, final Object[] args) throws IllegalAccessException, InvocationTargetException {
        // 查询执行前初始化存储容器
        if (List.of("next", "hasNext").contains(method.getName())) {
            accessedElements.set(new HashSet<>());
        }
        Object result = method.invoke(traversal, args);
        // 捕获当前步骤访问的所有图元素
        Optional.ofNullable(traversal.getTraverserSet()).ifPresent(set -> {
            set.forEach(traverser -> {
                if (traverser.get() instanceof Element) {
                    accessedElements.get().add((Element) traverser.get());
                }
            });
        });
        return result;
    }

    // 查询执行结束后调用该方法获取全量访问元素
    public Set<Element> getAccessedElements() {
        return accessedElements.get();
    }
}

方案2：基于查询语法重写的通用方案 #

如果没有权限修改Gremlin Server的配置，你可以对输入的任意Gremlin查询做AST语法树解析，在每个遍历步骤后注入sideEffect回调，把访问到的元素存入全局侧效变量：

• 举个例子，原查询为g.V().has('name','marko').out('knows').values('age')，重写后逻辑为：

g.withSideEffect('accessed', [])
 .V().sideEffect{accessed.add(it.get())}
 .has('name','marko').sideEffect{accessed.add(it.get())}
 .out('knows').sideEffect{accessed.add(it.get())}
 .values('age')
 .aggregate('originalResult')
 .cap('accessed', 'originalResult')

• 最终返回结果包含两部分：originalResult是原查询的返回结果，accessed是整个查询执行过程中所有访问过的图元素列表。
• 该方案适配所有兼容TinkerPop规范的图数据库，不需要服务端做任何修改，缺点是处理包含子遍历、多分支union的复杂查询时，需要做更精细的AST节点遍历，避免漏加sideEffect注入节点。

方案3：使用图数据库原生审计功能 #

大部分商业/开源图数据库都内置了查询追踪能力：

• JanusGraph开启query.trace配置后，会输出每个查询访问的所有底层存储节点、边ID；
• Nebula Graph、 HugeGraph等图数据库都内置了查询Profile能力，开启后可以输出全链路访问的所有数据资源。
• 该方案性能损耗最低，原生实现的捕获逻辑不会额外占用太多执行资源。

注意事项 #

• 所有捕获方案都会带来一定的性能损耗，高并发场景下建议抽样开启，不要全量捕获；
• 如果查询会访问大量数据，建议给捕获的元素集合加大小上限，避免出现OOM问题；
• 捕获到的元素需要做去重处理，避免同一个节点被多个步骤重复访问导致的重复统计。

内容的提问来源于stack exchange，提问作者Billy Moon