如何在R或Python中高效转换44亿条十六进制整数为32位整数

问题 #

我有一个约44亿行的CSV文件，包含25个分类列，所有列值均为十六进制编码整数，例如EE6B2800和10642AC00。使用配备3TB内存的机器，通过data.table::fread加载数据集后，R将这些值读取为字符串（也可使用pandas处理），希望将其转换为整数。

尝试过两种方法，但都存在问题：

• 解码为64位整数：
  示例："10642AC00" → 4000000000，"EE6B2800" → 4400000000
  问题：不知道如何直接转换字符串形式的十六进制值；且R中并非所有功能都支持64位整数，更倾向于使用32位整数。
• 转换为连续整数：
  示例："10642AC00" → 1，"EE6B2800" → 2
  方法：as.integer(factor(c("10642AC00", "EE6B2800")))
  问题：速度极慢，处理第一列已耗时一天半仍未完成，还担心内存溢出。

需求：需要更快的方案，允许输出存在少量间隙或偶尔的哈希冲突，核心是生成与原十六进制字符串基本一一对应的32位整数，希望操作耗时以小时计而非天数。想知道R中是否有高效的字符串整数哈希库，或针对十六进制值的巧妙处理方法？

解决方案 #

一、针对十六进制字符串的直接32位转换技巧 #

你的十六进制字符串本身是整数的十六进制表示，可以利用R原生函数快速解析，同时截断为32位整数：

1. strtoi结合32位掩码：
   strtoi可直接将十六进制字符串转为整数，再通过按位与0xFFFFFFFF或取模2^32得到32位无符号整数等效值（R的整数是32位有符号，超过2^31-1的会转为负数，若需正数范围可在值为负时加2^32）。
   示例代码：

   hex_to_32int <- function(x) {
     int_val <- strtoi(x, base = 16)
     # 转为32位无符号整数范围（可选）
     ifelse(int_val < 0, int_val + 2^32, int_val)
   }
   

   该方法基于R原生函数，速度极快，无额外依赖。

2. 处理超长十六进制字符串：
   如果十六进制字符串长度超过8位（即超过32位），可取最后8位生成32位整数，既保证速度，又能最大程度保留唯一性（冲突概率极低）：

   long_hex_to_32int <- function(x) {
     # 取最后8位，不足则补0
     short_hex <- substr(x, max(1, nchar(x)-7), nchar(x))
     strtoi(short_hex, base = 16) %% 2^32
   }
   

二、高效字符串哈希库 #

如果上述方法不适用，R中有几个高效的哈希库可快速生成32位整数哈希：

1. digest包的CRC32哈希：
   CRC32专门生成32位哈希，速度极快，冲突概率低：

   library(digest)
   hex_to_crc32 <- function(x) {
     # 将CRC32返回的十六进制字符串转为整数
     strtoi(digest(x, algo = "crc32", serialize = FALSE), base = 16)
   }
   

2. fastdigest包：
   fastdigest是digest的高性能实现，针对海量字符串哈希的表现更优：

   library(fastdigest)
   hex_to_fasthash <- function(x) {
     as.integer(fastdigest(x, algo = "crc32"))
   }
   

三、data.table批量处理优化 #

结合data.table的矢量化操作，可进一步提升处理速度，避免逐行操作：

library(data.table)
dt <- fread("your_file.csv")

# 指定需要转换的分类列
cols_to_convert <- names(dt)[1:25]
# 批量应用转换函数
dt[, (cols_to_convert) := lapply(.SD, hex_to_32int), .SDcols = cols_to_convert]

矢量化操作比factor方法快数个数量级，适配44亿行的大规模数据集。

四、备选：pandas处理思路（若切换到Python） #

如果用pandas处理，同样可以实现高效转换：

1. 十六进制转32位整数：

   import pandas as pd
   df = pd.read_csv("your_file.csv", dtype=str)
   def hex_to_32int(x):
       return int(x, 16) % 2**32
   cols_to_convert = df.columns[:25]
   df[cols_to_convert] = df[cols_to_convert].applymap(hex_to_32int)
   

2. CRC32哈希转换：

   import hashlib
   def crc32_hash(x):
       return int(hashlib.crc32(x.encode()), 16) % 2**32
   df[cols_to_convert] = df[cols_to_convert].applymap(crc32_hash)
   

内容的提问来源于stack exchange，提问作者Zach