使用pydocumentdb上传超1000KB数据至CosmosDB报413错误如何解决？

你遇到的413 RequestEntityTooLarge错误，核心原因是Cosmos DB SQL API的两个硬性限制：

• 单个文档最大大小为2MB（哪怕你的原始文件是1MB出头，序列化后的JSON可能因为转义字符、额外元数据等膨胀到超过限制）
• 单次请求的总数据大小不能超过4MB

针对你的场景，这里有几个实用的解决方案：

方案1：拆分大文档为多个逻辑关联的小文档 #

如果你的数据可以按业务逻辑拆分（比如按条目、时间段、模块划分），这是最贴合Cosmos DB设计理念的方案。把大文件拆分成多个不超过2MB的小文档，用共同标识（比如父ID、分区键）关联它们。

举个代码示例，假设你的data是包含大量数组元素的JSON结构：

# 假设原始data结构：{"parent_id": "doc_001", "records": [record1, record2, ..., recordN]}
parent_id = data["parent_id"]
# 根据实际情况调整批次大小，确保每个小文档序列化后不超2MB
batch_size = 400
for idx in range(0, len(data["records"]), batch_size):
    batch_records = data["records"][idx:idx+batch_size]
    small_doc = {
        "id": f"{parent_id}_batch_{idx//batch_size}",
        "parent_id": parent_id,
        "batch_index": idx//batch_size,
        "records": batch_records
    }
    client.CreateDocument(collection_link, small_doc)

方案2：用Cosmos DB附件存储无法拆分的大文件 #

如果你的数据是二进制文件（比如压缩包、图片）或者拆分后逻辑断裂，可以用Cosmos DB的附件功能——附件支持最大2GB的存储，且关联到一个主文档上。

用pydocumentdb实现的示例代码：

# 先创建一个主文档，用来关联大文件附件
master_doc = {"id": "large_file_master_001", "file_name": "my_big_data.json"}
created_master = client.CreateDocument(collection_link, master_doc)

# 读取本地大文件的二进制内容
with open("your_large_file.json", "rb") as f:
    file_content = f.read()

# 创建附件
attachment_params = {
    "id": "large_file_attachment_001",
    "contentType": "application/json",  # 根据文件类型调整，比如image/png、application/zip
    "media": file_content  # 传入二进制文件内容
}
client.CreateAttachment(created_master["_self"], attachment_params)

后续要读取附件内容，可以用以下代码：

attachment_link = f"{created_master['_self']}/attachments/large_file_attachment_001"
attachment = client.ReadAttachment(attachment_link)
# 获取二进制内容
retrieved_content = attachment["media"]

方案3：先验证序列化后的实际大小 #

有时候原始文件大小看起来没超，但序列化后的JSON可能因为转义字符、嵌套结构等膨胀。你可以先检查实际大小：

import json
serialized_data = json.dumps(data)
print(f"序列化后数据大小：{len(serialized_data)/1024/1024:.2f} MB")

如果确实超过2MB，再根据数据类型选择上面的方案处理。

内容的提问来源于stack exchange，提问作者Marc