Lua加载文件报错'unexpected symbol near 'ď'，无该字符的问题排查

问题背景 #

待加载文件内容（ko_vipPlayerData.lua） #

local t = {
    
    
}

return t

加载文件的核心代码 #

function koServer.loadDataFile(filename)
    local dataLoader, errorMsg = loadfile(filename)
    local data = nil
    
    if dataLoader then 
        local success, result = pcall(dataLoader)
        if success then
            net.log("Successfully loaded: " .. filename)
            data = result
        else
            net.log("Error loading " .. filename .. ": " .. result)
        end
    else
        net.log("Could not load " .. filename .. ": " .. (errorMsg or "unknown error"))
        -- data = {} 
    end
    
    return data
end

运行错误日志 #

2023-09-06 12:12:00.392 INFO LuaNET (Main): Could not load Z:\TKO\Scripts\ko_vipPlayerData.lua: [string "Z:\TKO\Scripts\ko_vipPlayerData.lua"]:1: unexpected symbol near 'ď'

已做排查 #

使用十六进制编辑器、VS Code、记事本、不可见字符查看器检查文件，均未找到ď字符；Total Commander能检测到该符号但无法定位，十六进制编辑器中也看不到异常字节。

可能原因及解决步骤 #

• UTF-8 BOM头干扰：
  部分编辑器会给UTF-8文件添加BOM头（十六进制EF BB BF），Lua无法识别这个标记，会将其解析为无效字符。即使你用工具没看到，可能是编辑器自动隐藏了BOM或者查看时遗漏了开头字节。
  解决：用VS Code打开文件，点击右下角编码选择UTF-8 无BOM后保存；或者用十六进制编辑器直接删除文件开头的三个字节EF BB BF。

• 文件系统缓存或残留数据流：
  Total Commander能检测到符号但定位不到，可能是文件系统缓存未刷新，或是NTFS替代数据流残留了无效数据，导致加载时读取的是旧缓存或额外数据。
  解决：重启Lua运行环境和Total Commander；将文件复制到其他目录后再尝试加载；用dir /r命令查看文件的替代数据流，若存在异常数据流，用del Z:\TKO\Scripts\ko_vipPlayerData.lua:streamname删除（替换streamname为实际流名称）。

• 工具显示盲区：
  部分十六进制编辑器可能过滤了控制字符，或默认只显示可打印字符，导致无法看到无效字节。错误中的ď可能是多字节编码解析错误的显示，实际是其他无法识别的单字节。
  解决：换用HxD等专业十六进制工具逐字节查看文件开头；用Lua二进制读取方式输出文件前10字节的十六进制值，排查异常：

  local f = io.open("Z:\\TKO\\Scripts\\ko_vipPlayerData.lua", "rb")
  if f then
      local bytes = f:read(10)
      f:close()
      for i = 1, #bytes do
          print(string.format("%02X", string.byte(bytes, i)))
      end
  end
  

• 磁盘或文件损坏：
  磁盘扇区损坏可能导致文件读取时出现错误字节，表面看文件正常，但加载时读取到异常数据。
  解决：用chkdsk Z: /f命令扫描修复磁盘错误；手动重新创建文件并输入内容，避免复制可能损坏的原文件。

内容的提问来源于stack exchange，提问作者Hubert Marek