嗨，你的困惑我完全能理解——这个雅可比行列式的问题确实很容易因为符号或者表述方式搞混，我来一步步帮你理清：

首先，你的推导是完全正确的！公式(1)才是从积分换元直接得到的标准结果：
$$
\tag{1}
\rho_Y(y) = \rho_X(f^{-1}(y)) \left|\det\Jac{f^{-1}}(y)\right|
$$

那为什么会出现公式(2)这种看起来矛盾的写法？大概率是符号误解或者表述上的小失误，我来拆解一下：

1. 逆函数定理的等价变形 #

你已经提到了逆函数定理：$(\frac{\dee}{\dee x}{f}(x))^{-1}=\frac{\dee}{\dee y}{f^{{-1}}(y)$，推广到多元情况就是$(\Jac{f}(x))}{-1}=\Jac{f^{-1}}(y)$（这里$y=f(x)$）。对两边取行列式的绝对值，就能得到：
$$
\left|\det\Jac{f^{-1}}(y)\right| = \frac{1}{\left|\det\Jac{f}(x)\right|}
$$
把这个关系代入公式(1)，就得到了你写的$(2^\star)$：
$$
\tag{2$^\star$}
\rho_Y(y)
= \rho_X(f^{-1}(y)) \frac1{\left|\det\Jac{f}(x)\right|}\
= \rho_X(x) \frac1{\left|\det\Jac{f}(x)\right|}
$$
注意这里的$x=f^{{-1}(y)$，所以$(2}\star)$和公式(1)是完全等价的，只是表述角度不同：一个用逆变换在$y$点的雅可比行列式，一个用原变换在对应$x$点的雅可比行列式的倒数。

2. 公式(2)的问题所在 #

那些写出公式(2)的资料，很大概率是把符号搞混了：
$$
\tag{2}
\rho_Y(y) = \rho_X(f^{-1}(y)) \frac1{\left|\det\Jac{f^{-1}}(y)\right|}
$$
他们可能本来想表述的是$(2^{\star)$的形式——用原变换$f$的雅可比倒数，但错误地把$\Jac{f}(x)$写成了$\Jac{f}{-1}}(y)$，才出现了“逆变换雅可比的倒数”这种矛盾的表述。这要么是笔误，要么是对雅可比矩阵的定义或符号理解错了。

3. 两种表述形式的适用场景 #

你问为什么有人会用$(2^\star)$而不是(1)？其实两种形式都是合理的，只是适用场景不同：

• 如果我们更关注$y$点的逆变换行为，公式(1)的表达更直接，完全用$y$作为变量，符合密度函数以$y$为自变量的要求；
• 如果在实际问题中，我们更容易获取原变换$f$在$x$点的导数信息（比如统计推断、MCMC采样里的变量替换），用$(2^\star)$会更方便，因为可以直接用已知的$x$点雅可比来计算。

最后补充你提到的Betancourt讲义的问题：很可能是你一开始对他的符号体系理解错了，比如他可能用$\Jac{f}(y)$指代的是原变换在对应$x=f^{-1}(y)$点的雅可比，而不是逆变换的雅可比。这类符号歧义在数学资料里偶尔会出现，需要结合上下文确认。

总结一下：

• 你的推导和公式(1)是完全正确的；
• 公式(2)是错误的，属于符号误解或笔误；
• $(2^\star)$是公式(1)的等价变形，两种形式只是表述角度不同，没有对错之分。

备注：内容来源于stack exchange，提问作者postylem