PDF 2.0规范下UTF-8编码字符串的正确构造与渲染问询

问题描述 #

我正尝试手工编写PDF文件，测试生成包含UTF-8编码字符串的PDF。当前使用以下文本流指令渲染文本：

239 187 191 (test åäö abc) Tj

但页面显示为test ˆ¥ˆ⁄ˆ¶ abc。尝试用åäö的十六进制字节串配合Tj指令，同样输出乱码。

请问如何构造PDF文件，使其中的UTF-8编码字符串能被正确渲染（字体支持对应字符/字形时）？

测试用完整文件内容如下：

%PDF-2.0
1 0 obj
<<
  /Type /Catalog
  /Pages 2 0 R
>>
endobj

2 0 obj
<<
  /Type /Pages
  /MediaBox [0 0 595.28 841.89]
  /Count 1
  /Kids [ 3 0 R ]
>>
endobj

3 0 obj
<<
  /Type /Page
  /Parent 2 0 R
  /Resources <<
    /Font <<
      /F1 4 0 R 
    >>
  >>
  /Contents 5 0 R
>>
endobj

4 0 obj
<<
  /Type /Font
  /Subtype /Type1
  /BaseFont/Helvetica
>> 
endobj

5 0 obj
<<
  /Length 66
>>
stream
BT
70 791.89 TD
/F1 12 Tf
239 187 191 (test åäö abc) Tj
ET
endstream
endobj

xref
0 6
0000000000 65535 f 
0000000009 00000 n 
0000000063 00000 n 
0000000161 00000 n 
0000000289 00000 n 
0000000365 00000 n 
trailer
<<
  /Size 6
  /Root 1 0 R
>>
startxref
484
%%EOF

核心问题分析 #

你使用的Helvetica是Type1字体，这类字体默认采用PDFDocEncoding或WinAnsiEncoding，属于单字节编码体系。直接传入UTF-8多字节字节流时，PDF阅读器会把每个字节单独解析为单字节编码的字符，导致乱码。

两种可行的解决方法 #

方法1：使用支持UTF-8的TrueType字体（PDF 2.0推荐） #

PDF 2.0原生支持/UTF8Encoding，搭配TrueType字体可以直接使用UTF-8编码的字符串。步骤如下：

• 嵌入支持目标字符的TrueType字体（比如Arial Unicode MS、Noto Sans等）
• 在字体对象中指定/Encoding /UTF8Encoding
• 文本流中直接写入UTF-8编码的字符串

修改后的完整PDF示例（简化字体嵌入逻辑，实际需替换真实字体字节）：

%PDF-2.0
1 0 obj
<<
  /Type /Catalog
  /Pages 2 0 R
>>
endobj

2 0 obj
<<
  /Type /Pages
  /MediaBox [0 0 595.28 841.89]
  /Count 1
  /Kids [3 0 R]
>>
endobj

3 0 obj
<<
  /Type /Page
  /Parent 2 0 R
  /Resources <<
    /Font <<
      /F1 4 0 R
    >>
  >>
  /Contents 5 0 R
>>
endobj

4 0 obj
<<
  /Type /Font
  /Subtype /TrueType
  /BaseFont /ArialUnicodeMS
  /Encoding /UTF8Encoding
  /FontDescriptor 6 0 R
>>
endobj

6 0 obj
<<
  /Type /FontDescriptor
  /FontName /ArialUnicodeMS
  /Flags 32
  /FontBBox [-166 -250 1000 900]
  /ItalicAngle 0
  /Ascent 900
  /Descent -250
  /CapHeight 700
  /StemV 70
  /FontFile2 7 0 R
>>
endobj

7 0 obj
<<
  /Length 12345 % 替换为实际字体文件字节大小
>>
stream
% 此处放入ArialUnicodeMS.ttf的完整字节内容
endstream
endobj

5 0 obj
<<
  /Length 42
>>
stream
BT
70 791.89 TD
/F1 12 Tf
(test åäö abc) Tj
ET
endstream
endobj

xref
0 8
0000000000 65535 f 
0000000009 00000 n 
0000000063 00000 n 
0000000161 00000 n 
0000000289 00000 n 
0000000365 00000 n 
0000000445 00000 n 
0000000525 00000 n 
trailer
<<
  /Size 8
  /Root 1 0 R
>>
startxref
645 % 替换为实际startxref偏移位置
%%EOF

方法2：为Type1字体创建自定义编码映射 #

如果坚持使用Type1字体，需要创建自定义编码，将UTF-8字符对应的Unicode码点映射到字体的字形名称：

• 在字体对象中添加/Encoding字典，通过/Differences数组指定码点到字形的映射
• 文本流中使用PDF标准的字符串表示方式（十六进制字节串或转义括号字符串）

修改后的字体对象和内容流示例：
字体对象（4 0 obj）：

4 0 obj
<<
  /Type /Font
  /Subtype /Type1
  /BaseFont /Helvetica
  /Encoding <<
    /Type /Encoding
    /Differences [
      229 /aring    % å的Unicode码点U+00E5，对应十进制229
      228 /auml     % ä的Unicode码点U+00E4，对应十进制228
      246 /ouml     % ö的Unicode码点U+00F6，对应十进制246
    ]
  >>
>>
endobj

内容流（5 0 obj）：

5 0 obj
<<
  /Length 45
>>
stream
BT
70 791.89 TD
/F1 12 Tf
(test \E5\E4\F6 abc) Tj
ET
endstream
endobj

注意：需确保所用Type1字体包含目标字形（Helvetica默认支持åäö），且编码映射的码点与字形对应正确。

内容的提问来源于stack exchange，提问作者Emil L