使用Git LFS时Bash Git Prompt响应异常缓慢的问题求助

我有一个存储了5个Git LFS文件的文件夹，总大小大概3GB。平时用Bash Git Prompt都很顺畅，但修改文件权限之后就出问题了：

执行命令后能立刻得到输出，但Bash Git Prompt要等足足7秒才会显示。目前我只能通过运行git update-index --refresh或者git status来解决延迟问题，但git branch命令在这种情况下完全没用。

更奇怪的是：比如文件权限本来是1001:1001，我再执行chown -R 1001:1001（也就是对已经是这个权限的文件重新设置一次），居然又会让Prompt变慢！

我完全搞不懂这是为什么……

我的理想状态是能避免这种情况，不想每次改权限后都要手动跑git update-index --refresh。有没有大佬能帮忙解答一下？

谢谢！

备注：内容来源于stack exchange，提问作者e1k