树莓派K3s集群部署MQTT Mosquitto后无法正常连接怎么办

排查所有配置项，问题均为规则适配错误，无容器运行类故障，具体点如下：

• Ingress能力与协议不匹配：nginx-ingress默认仅处理7层HTTP/HTTPS流量，无法透传原生MQTT使用的纯TCP 1883报文。当前配置的Ingress规则，仅能将80端口下匹配mqtt.local域名的HTTP请求转发到后端1883端口；iPad发起的TCP类型MQTT连接（目标端口1883）根本无法被Ingress的规则匹配逻辑处理，连接请求直接超时卡死，所以服务端收不到任何连接日志。而浏览器通过80端口访问域名时，Ingress把HTTP请求直接转到1883端口，Mosquitto无法解析HTTP格式的报文，才会打出disconnected due to protocol error的异常日志。
• Service暴露范围不满足外部访问需求：当前mqtt的Service为默认ClusterIP类型，仅允许K3s集群内部网络访问，未做端口映射的前提下，集群外的iPad根本没有触达后端容器的网络通道。
• Mosquitto部署规格不合理：Mosquitto单实例是有状态服务，未配置集群互通的前提下设置2副本，会出现不同客户端连接到不同实例时消息收发不同步的问题；搭配Recreate更新策略虽然避免了多实例同时运行的冲突，但没有实际扩容意义。
• Secret凭证存在格式隐患：当前Secret中预留的<BASE64 USERNAME:PW>占位格式不符合Mosquitto要求，Mosquitto的密码文件需要存储用户名搭配加密后的密码哈希，而非用户名:密码原文的Base64编码内容，即使当前初步验证密码可用，后续也会出现权限校验失败的问题。

按以下步骤修改配置即可恢复服务：

1. 更换外部访问通道，弃用7层Ingress直连1883端口的实现逻辑
   • 同局域网使用场景下，直接把mqtt的Service调整为LoadBalancer类型：K3s内置的ServiceLB会自动将1883、9001端口绑定到树莓派节点的物理网卡，iPad直接连接树莓派局域网IP + 1883端口即可访问，无需依赖域名和Ingress。调整参考：

     apiVersion: v1
     kind: Service
     metadata:
       name: mqtt
       namespace: mqtt
     spec:
       type: LoadBalancer
       externalTrafficPolicy: Local
       ports:
         - name: mqtt-tcp
           port: 1883
           targetPort: 1883
         - name: mqtt-ws
           port: 9001
           targetPort: 9001
       selector:
         io.kompose.service: mqtt
     

   • 若需保留域名访问能力，需修改nginx-ingress的ConfigMap，添加1883端口的TCP服务透传映射，将1883端口的流量直接转发到mqtt Service的1883端口——普通7层Ingress规则无法实现纯TCP流量的转发。
2. 修正Mosquitto配置细节
   • 将Deployment的副本数调整为1，适配单实例Mosquitto的运行特性：

     # 对应Deployment spec 部分的调整
     spec:
       replicas: 1
       strategy:
         type: Recreate
     

   • 生成合法的密码文件：在本地生成Mosquitto格式的密码文件，将文件内容Base64编码后替换原Secret中的占位值，避免格式校验失败。
3. 分层验证连通性
   • 先跳过域名和Ingress配置，通过Service的端口映射直接从iPad端连接，确认Mosquitto服务本身可正常完成认证、消息收发；
   • 确认基础服务可用后，再逐步添加域名、端口映射等外部访问配置，避免多配置叠加导致故障定位困难。

原配置中浏览器访问触发的协议错误日志，是Ingress转发HTTP报文到Mosquitto TCP端口导致的，待完成访问通道调整后，该异常日志会自动消失。

内容的提问来源于stack exchange，提问作者SKS81