使用git filter-branch清理全分支Notebook输出无效问题求助

问题背景 #

长期使用Jupyter Notebook开发，提交前未清理单元格输出导致仓库体积膨胀。使用git filter-branch --all尝试清理所有分支历史中的输出后，部分分支旧提交仍保留输出，仓库体积未缩减甚至变大。

可能原因 #

1. 文件匹配不完整：原命令中的*.ipynb **/*.ipynb在shell环境下可能无法递归匹配所有子目录的.ipynb文件（比如空目录、含特殊字符的路径），导致部分文件未被处理。
2. git filter-branch的局限性：该工具已被Git官方弃用，处理大量分支/标签时容易遗漏引用，且对隐藏引用（如refs/stash、旧远程追踪分支）的覆盖不完全。
3. 本地残留旧引用：即使推送了强制更新，本地仍可能保留旧的分支引用或reflog，导致Git无法彻底清理冗余对象。

解决方案 #

1. 改用更可靠的git-filter-repo工具 #

Git官方推荐用git-filter-repo替代git filter-branch，它性能更高、可靠性更强，能更好地处理全仓库历史。

步骤：

• 安装git-filter-repo：

  pip install git-filter-repo
  

• 创建清理脚本clean_ipynb.sh（确保递归处理所有.ipynb文件）：

  #!/bin/bash
  # 递归查找所有.ipynb文件并清理输出
  find . -name "*.ipynb" -type f -exec python -m nbconvert --ClearOutputPreprocessor.enabled=True --inplace {} \;
  

• 赋予脚本执行权限：

  chmod +x clean_ipynb.sh
  

• 执行仓库历史重写（处理所有分支、标签）：

  git filter-repo --force --tree-filter "$PWD/clean_ipynb.sh"
  

2. 彻底清理本地冗余对象 #

# 清理旧的远程追踪分支
git remote prune origin

# 过期所有reflog记录
git reflog expire --expire=now --all

# 强制清理Git对象数据库
git gc --aggressive --prune=now

3. 强制推送所有分支和标签到远程 #

# 推送所有分支
git push --force --all

# 推送所有标签（如有需要）
git push --force --tags

验证结果 #

• 切换到任意分支，检出旧提交，查看目标.ipynb文件是否已清理单元格输出。
• 查看.git文件夹大小，确认体积已缩减。
• 用git log --oneline检查提交历史，确认所有相关提交已被重写。

预防措施 #

为避免后续提交再引入冗余输出，配置Git自动清理.ipynb文件：

1. 在仓库根目录创建.gitattributes文件：

   *.ipynb filter=jupyter_clean
   

2. 设置Git过滤器：

   git config filter.jupyter_clean.clean 'python -m nbconvert --ClearOutputPreprocessor.enabled=True --stdin --stdout'
   git config filter.jupyter_clean.smudge cat
   git config filter.jupyter_clean.required true
   

3. 将.gitattributes提交到仓库：

   git add .gitattributes
   git commit -m "Add Jupyter Notebook output clean filter"
   

内容的提问来源于stack exchange，提问作者tiludeepmed