ReferenceQueue/Cleaner处理的伸缩性优化方案问询

我遇到这样的场景：大量轻量级对象共享一个大型内部结构。为缓解严重内存泄漏，我希望跟踪该结构的使用情况——当内存中剩余轻量级对象不再需要它的部分内容时，就缩减其大小。我首次尝试用PhantomReference和ReferenceQueue实现方案：该结构包含轻量级对象的弱引用集合，以及它们对共享结构的使用信息。

核心问题 #

• 无法提前知晓每个共享结构实例的使用模式（单线程/高并发场景）
• ReferenceQueue仅支持逐个轮询/移除元素，无法获取队列近似大小，难以评估清理任务能否跟上对象创建与释放的速率
• 可跟踪已创建和已清理的对象数，但无法统计已释放但尚未清理（phantom reachable）的对象数，该比例因具体用例而异
• 无法保证队列不会过度增长，甚至与创建对象数呈O(n)关系

问题难点 #

需清理的是共享结构而非单个虚引用，缩减结构成本极高（类似动态数组缓冲区扩容/缩容），需满足以下约束：

• 仅当内存中所有轻量级对象的使用量低于阈值时，才可执行缩减操作
• 需避免刚完成昂贵的调整后立即再次小幅缩减，要将成本分摊到多个已清理对象上
• 轻量级对象数量与共享结构大小呈O(n)关系，每次虚引用可达时，无法遍历所有未清理的引用集合
• 多数典型使用模式中，大量对象会在短时间窗口内集中释放，常见两种递归用例：
  1. 增长模式：分配大型结构，供后续部分轻量级对象复用，算法结束仅保留最终对象（甚至仅用于复制到持久结构）
  2. 缩减模式：后续算法仅使用前一步对象的片段，所有临时轻量级对象在算法完成时释放（首个对象若为算法创建，可能一同释放）

这本质是软引用预期用途之外的安全网实现，而非常规生命周期管理，因此需尽可能降低簿记工作对常规用例的影响。

现有方案与困惑 #

我最初的方案是让轻量级对象作为哑强引用，委托给自定义PhantomReference（包含所有状态与功能）。Huge类有一个持续运行的静态任务消费Huge.queue中的元素，调用Huge.deregister，并在单独Executor中调度Huge.reduceIfNeeded（未调度时才执行）。但我不知道如何伸缩队列消费逻辑，目前仅能想到一些模糊指标，无法形成清晰可行的方案，希望得到解决思路。

代码示例 #

// 共享结构
class Huge {
    public static final ReferenceQueue<Lightweight> queue = new ReferenceQueue();
    private HashSet<LightweightState> lightweights = new HashSet();

    public void register(LightweightState lightweight) {
        lightweights.add(lightweight);
    }
    void deregister(LightweightState lightweight) {
        // 本可以通过维护上次扫描后已注销的引用数来分摊成本，但此方法由轮询Huge.queue的线程调用，需快速返回
        // 我们也期望现在需要缩减意味着后续很快还会有缩减需求，等待一段时间后，整个实例生命周期可能只需要一次缩减，
        // 甚至因为实例自身被垃圾回收而完全避免缩减
        lightweights.remove(lightweight);
    }

    void reduceIfNeeded() {
        // 遍历lightweights并裁剪结构中未使用的片段，操作成本高
    }
};

// 轻量级对象对Huge的使用信息，即除Huge引用外的所有数据/参数
class Projection {};

// 对外暴露的轻量级对象
class Lightweight {
    private LightweightState state;

    public Lightweight(Huge huge, Projection projection) {
         state = new LightweightState(this, huge, projection);
    }
    // 对外API
    public void method() { state.method(); }
}

// 内部跟踪使用情况的类
class LightweightState extends PhantomReference<Lightweight> {
    Huge huge;
    Projection projection;
    public LightweightState(Lightweight lightweight, Huge huge, Projection projection) {
        super(lightweight, huge.queue);
        this.huge = huge;
        this.projection = projection;
        huge.register(this);
    }
    // 方法实现
    public void method() {}
}

内容的提问来源于stack exchange，提问作者Turin