关于将{1,…,n²}排列为n×n网格使行乘积集合与列乘积集合相等的问题求助

最近在做PRMO模拟题和Promys 2020的题目时，发现了一个很有意思的问题：

对于哪些自然数$n$，可以将集合${1,…,n^2}$排列成一个$n×n$的网格，使得所有列的乘积构成的集合与所有行的乘积构成的集合相等？

我已经能找出$3×3$和$4×4$网格的解法，但没办法把这个结论推广到一般的$n×n$网格。

之前看到RobPratt已经给出了这个问题的解答，但他的解法对我来说太难了，完全看不懂；而且因为我的社区声望不够，没办法直接向他提问请教。

有没有大佬能帮我梳理一下这个问题的思路，或者用更易懂的方式讲解一下解法呀？

备注：内容来源于stack exchange，提问作者user1147681