WinForm中设置TabStop为false后按钮仍获取焦点，导致方向键游戏操作失效的问题求助

我做了一个WinForm程序，界面上有两个Label和一个Button。其中一个Label是游戏的操作区域，玩家通过WASD和方向键来操控游戏，但遇到了一个棘手的问题：第一次按下方向键时，焦点会自动转移到Button上，之后方向键就无法再控制游戏了——从按钮周围立刻出现的蓝色焦点框就能明显看出来原因。

我想请教下有没有办法解决这个问题？同时还要保证Button能正常被鼠标点击，而且我不想重新绑定控制键，虽说这事不难，但总觉得没必要多折腾。

我已经尝试过把Button的TabStop属性设为false，调整TabIndex的顺序也没解决问题。界面上也就Button是传统意义上的可交互控件，我甚至在想，WinForm是不是真的必须时刻有某个控件处于焦点状态？这个想法会不会太天真了？

备注：内容来源于stack exchange，提问作者Jonty