基于MD5生成易记短ID的Python实现方案咨询（适配AWS Lambda）

我正在开发一款存储PDF文档及相关JSON格式信息的应用，目前通过文件的MD5哈希值作为ID避免重复加载，实现代码如下：

def create_hashsum(file_name):
    with open(file_name, 'rb') as file_to_check:
        # read contents of the file
        data = file_to_check.read()    
        # pipe contents of the file through
        md5_hash = hashlib.md5(data).hexdigest()
     return md5_hash

输出示例：dfa04947f231d1c8cc7e755956c90bcf

现需生成第二个易记的短ID，要求如下：

• 长度约6位（字母+数字）
• 最多支持10000份文档
• 可接受低碰撞概率
• 易于在AWS Lambda（Python环境）中实现

希望获取可行的算法、Python库或实现函数；若暂无现成方案，请问取MD5哈希值的前6位时碰撞概率为多少？
注：曾尝试smalz库，但因无法安装依赖放弃。

一、可行的短ID生成方案 #

1. 基于MD5哈希的Base62转换方案 #

利用已生成的MD5哈希值，将其转换为Base62编码（包含数字、大小写字母，共62种字符），既无需额外依赖，又能生成符合要求的6位短ID。

实现代码：

import hashlib

BASE62_CHARS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"

def md5_to_base62(md5_hash):
    # 将MD5十六进制字符串转为整数
    hash_int = int(md5_hash, 16)
    base62_str = ""
    while hash_int > 0:
        hash_int, remainder = divmod(hash_int, 62)
        base62_str = BASE62_CHARS[remainder] + base62_str
    # 确保长度为6位，不足补0后取前6位
    return base62_str.zfill(6)[:6]

def create_short_id(file_name):
    # 获取文件MD5哈希
    with open(file_name, 'rb') as file_to_check:
        data = file_to_check.read()
        md5_hash = hashlib.md5(data).hexdigest()
    # 转换为6位短ID
    return md5_to_base62(md5_hash)

6位Base62的总可能数为62^6=56800235584，远大于10000的文档量需求，碰撞概率极低，且完全适配AWS Lambda环境。

2. 自增ID转Base62方案 #

如果可以通过DynamoDB等存储维护一个全局计数器，可生成自增数字后转成6位字母数字编码，完全避免碰撞。

实现代码：

BASE62_CHARS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"

def int_to_base62(num):
    if num == 0:
        return BASE62_CHARS[0]
    base62_str = ""
    while num > 0:
        num, remainder = divmod(num, 62)
        base62_str = BASE62_CHARS[remainder] + base62_str
    # 补0至6位
    return base62_str.zfill(6)[:6]

使用时只需从存储中读取当前最大ID，自增后传入函数即可生成短ID，适合有持久化存储的场景。

二、MD5前6位的碰撞概率分析 #

MD5十六进制每一位有16种可能，6位的总组合数为16^6=16777216。根据生日悖论近似公式p ≈ n²/(2*N)（n为文档数10000，N为总组合数），计算得：
p ≈ (10000)²/(2*16777216) ≈ 2.98%
即约3%的碰撞概率，这个概率对于10000份文档来说不算低，若对碰撞容忍度不高，不建议直接取MD5前6位。

内容的提问来源于stack exchange，提问作者Sergii