Apache Spark 是如何使用 .crc 文件的？

当Spark向输出目标路径写入文件时，会生成扩展名为.crc的校验文件，典型示例为part-r-1.parquet.crc。

CRC特性说明 #

CRC 专门设计用于防范通信信道中的常见错误类型，可快速且合理地保障所传输消息的完整性，但不适用于防范数据被蓄意篡改：由于缺少身份认证机制，攻击者可编辑消息后重新计算CRC值，该替换操作不会被检测到。

现有认知边界 #

目前已知Spark会借助.crc文件保障节点间传输的文件数据完好，但其具体的使用实现机制暂不明确。

内容的提问来源于stack exchange，提问作者Paulo Moreira