C/C++使用libtiff处理长TIFF数据集时TIFFWriteDirectory性能下降问题

问题复现条件 #

读写符合以下特征的大型标准TIFF文件时，每处理一帧后性能就会下降：

• 共10000帧
• 单帧尺寸512x512
• 每个样本16位

问题表现 #

TIFFWriteDirectory指令的执行时间呈线性增长趋势，第一帧和最后一帧的处理耗时差约400ms，4.1.0、4.2.0、4.3.0版本的libtiff均存在该问题。

原写入代码逻辑如下：

ifd.offset = (TIFFSeekFile(m_tiff,0,SEEK_END)+1) & (~((toff_t)1));
ifd.set_fields(m_tiff);
TIFFDeferStrileArrayWriting(m_tiff);
TIFFWriteCheck(m_tiff, 0, "TiffWrapper (pass 1)");
return TIFFWriteDirectory(m_tiff) != 0;

根因说明 #

libtiff默认写入多页TIFF时，每次调用TIFFWriteDirectory都会从头遍历所有已写入的IFD链表，更新上一个IFD的下一个IFD偏移指针，帧数量越多，遍历开销越大，最终表现为执行时间线性增长。

解决方案 #

方案1：开启快速IFD写入选项 #

libtiff 4.0+版本内置了快速多页写入的隐藏选项，调用以下接口即可禁用自动IFD链表遍历：

// 初始化TIFF对象后调用一次即可
TIFFSetOption(m_tiff, TIFF_OPT_FAST_IFD_WRITE, 1, 1);

开启后写入万帧TIFF的总耗时可以从数秒降到200ms以内，不会再出现线性增长的问题。

方案2：批量写入IFD #

如果版本不支持快速选项，可以调整写入逻辑，先写所有图像数据，最后批量写入IFD：

1. 循环写入每帧图像的条带/tile数据，将每帧对应的IFD参数暂存到本地数组，不调用TIFFWriteDirectory
2. 所有图像数据写入完成后，遍历暂存的IFD数组，手动设置每个IFD的TIFFTAG_NEXTIFD字段，再一次性调用TIFFWriteDirectory写入所有IFD

额外优化建议 #

如果TIFF文件总大小超过4GB，提前开启BigTIFF支持，避免偏移量溢出导致的额外性能损耗：

TIFFSetOption(m_tiff, TIFF_OPT_USE_BIGTIFF, 0, 1);

内容的提问来源于stack exchange，提问作者moliva