本地运行Falcon 7B教程遇矩阵维度不匹配错误，求解决方案

在RTX A6000显卡本地运行Falcon 7B训练教程时，触发矩阵乘法维度不匹配错误，报错详情如下：

File "/lfs/hyperturing1/0/brando9/miniconda/envs/data_quality/lib/python3.10/site-packages/peft/tuners/lora.py", line 565, in forward
    result = F.linear(x, transpose(self.weight, self.fan_in_fan_out), bias=self.bias)
RuntimeError: mat1 and mat2 shapes cannot be multiplied (2048x4544 and 1x10614784)

代码完全复制自官方教程，未做自定义修改，初步判断错误由LoRA模块引发。

• 升级PEFT库：该问题多出现于PEFT 0.4.0及以下版本，升级到0.5.0或更高版本即可修复。执行命令：pip install --upgrade peft
• 确认模型加载参数：加载Falcon模型时必须设置trust_remote_code=True，避免模型结构解析错误导致LoRA维度不匹配
• 限定LoRA注入模块：在LoraConfig中设置target_modules=["query_key_value"]，仅对注意力模块注入LoRA，规避其他模块的维度适配问题
• 清理模型缓存：删除本地~/.cache/huggingface/hub路径下对应Falcon模型的缓存文件夹，重新拉取完整模型文件，避免缓存损坏引发维度异常

内容的提问来源于stack exchange，提问作者Charlie Parker