C# P/Invoke调用C++ DLL函数时Result参数返回值异常排查

问题场景 #

通过C#编写P/Invoke逻辑调用C++生成的DLL导出函数，入参Code返回值正常，但Result返回值不符合预期，无法判断获取到的是目标字符串还是内存地址。

原C++导出函数定义 #

#ifdef NT2000
      __declspec(dllexport)
    #endif

    void MyFunction
            (   long            *Code,
                long            Number,
                unsigned char   *Reference,
                unsigned char   *Result         ) ;

当前存在问题的C# P/Invoke声明 #

[DllImport("mydll.dll", CallingConvention = CallingConvention.Cdecl)]
public static extern void MyFunction(ref IntPtr Code,
        int Number,
        string Reference,
        ref IntPtr Result);

核心问题原因 #

• Code参数能拿到正常值是巧合：Windows平台下C++的long类型固定为4字节，如果你当前运行的是32位程序，IntPtr大小也是4字节，ref IntPtr和ref int内存布局一致，所以能读对值；如果切换到64位程序，IntPtr为8字节，会直接出现内存读错位，所有后续参数都会异常。
• Result参数异常的本质是声明和封送逻辑不匹配：你当前用ref IntPtr接收的本质是内存地址值，既没有匹配C++侧的字符串传参约定，也没有做对应的非托管内存到托管字符串的转换，自然无法拿到正确结果。
• 入参Reference的声明没有显式指定字符集，遇到非ASCII编码内容时会出现乱码。

修复方案 #

首先对照C++侧的函数文档/实现，确认Result参数的内存约定，两种常见场景的正确写法如下：

场景1：调用方提前分配缓冲区，函数向缓冲区写入结果（C接口最通用约定） #

绝大多数C风格DLL的字符串输出参数都采用这个约定：调用方提前申请足够长度的字节数组，把数组首地址传给函数，函数把结果写入这块提前分配的内存。
正确的P/Invoke声明：

// 字符集根据DLL实际编码调整，老式C++ DLL一般默认用Ansi
[DllImport("mydll.dll", CallingConvention = CallingConvention.Cdecl, CharSet = CharSet.Ansi)]
public static extern void MyFunction(
    ref int Code, // 对应C++ long*，Windows下long为4字节，直接用ref int匹配
    int Number,
    string Reference, // 入参只读字符串直接用string类型封送即可
    byte[] Result // 传入提前分配好的字节数组作为输出缓冲区
);

调用示例：

int returnCode = 0;
// 缓冲区长度根据DLL文档要求的最大返回长度设置，例如此处设置256字节
byte[] resultBuffer = new byte[256];
MyFunction(ref returnCode, 1001, "input_reference", resultBuffer);
// 解析缓冲区内容，找到C字符串的终止符\0，截断后续空字节后转成字符串
int terminatorIndex = Array.IndexOf(resultBuffer, (byte)0);
int actualLength = terminatorIndex < 0 ? resultBuffer.Length : terminatorIndex;
// 编码根据DLL实际返回的编码调整，UTF8对应Encoding.UTF8，GBK对应Encoding.GetEncoding("GBK")
string resultValue = Encoding.ASCII.GetString(resultBuffer, 0, actualLength);

场景2：函数内部返回字符串指针，将指针地址写回输出参数 #

少数DLL会采用这种约定：函数内部持有常量字符串、或者在堆上分配字符串内存，把字符串的首地址写回传入的指针参数，不需要调用方提前分配缓冲区。
这种场景下你用ref IntPtr拿到的是字符串的首内存地址，需要手动把非托管内存的内容封送成托管字符串。
正确的P/Invoke声明：

[DllImport("mydll.dll", CallingConvention = CallingConvention.Cdecl, CharSet = CharSet.Ansi)]
public static extern void MyFunction(
    ref int Code,
    int Number,
    string Reference,
    ref IntPtr Result // 输出参数为字符串首地址指针
);

调用示例：

int returnCode = 0;
IntPtr resultPtr = IntPtr.Zero;
MyFunction(ref returnCode, 1001, "input_reference", ref resultPtr);
// 从非托管内存指针封送为托管字符串，编码和DLL实际返回匹配
string resultValue = Marshal.PtrToStringAnsi(resultPtr);
// *注意*：如果C++侧返回的是堆上动态分配的内存，必须按照DLL提供的内存释放接口调用对应函数释放内存，否则会造成内存泄漏

额外注意事项 #

• 不要用ref IntPtr匹配C的基础类型指针，严格按照类型长度匹配：Windows下Cint/long对应C#int，C++long long对应C#long，指针类型对应IntPtr，避免64位下出现内存错位。
• 字符串转换必须匹配实际编码，不要默认硬套Ansi/ASCII，否则中文、特殊符号会出现乱码。
• 两种参数约定的写法不能混用：如果是调用方分配缓冲区的约定，传ref IntPtr会导致函数把字符串内容直接写入指针变量的内存位，直接造成值错位；如果是返回指针的约定，传字节数组会导致类型不匹配抛异常。

内容的提问来源于stack exchange，提问作者CodeFingers