适配HDInsight Hadoop/Spark：平均20MB JSON文件的Azure存储选型

针对你这种平均20MB的JSON文件、用于Hadoop/Spark后续处理的场景，咱们来具体拆解两个存储方案的适配性：

先看Azure CosmosDB：直接排除的选项 #

• CosmosDB的单文档最大限制是2MB，你的20MB JSON文件远超过这个阈值，根本无法直接作为单个文档存入CosmosDB。
• 就算你强行把文件拆分成多个2MB以内的子文档，后续用Hadoop/Spark处理时，需要额外开发拼接逻辑，这会大幅增加处理复杂度和开销。
• 另外，CosmosDB的存储和读写成本远高于ADLS，对于批处理为主的Hadoop/Spark场景来说，性价比极低。

再看Azure Data Lake Store（ADLS）：更合适的选择 #

• 虽然ADLS建议文件大小至少100MB，但20MB的文件并非不能存储，只是小文件过多会带来两个小问题：一是增加ADLS NameNode的元数据管理压力，二是Spark/Hadoop处理时会因为任务数过多导致调度开销变大。
• 但这个问题很好解决：你可以通过预处理步骤把多个20MB的文件合并成100MB以上的大文件——比如用Spark的coalesce()或repartition()操作，或者使用ADLS的内置合并工具，这在大数据处理中是非常常规的操作。
• 解决小文件问题后，ADLS的优势就完全体现了：存储成本低，和HDInsight的集成完全适配Hadoop/Spark的批处理流程，读写大文件的吞吐量表现优异，完全满足后续数据处理的需求。

最终结论 #

优先选择Azure Data Lake Store（ADLS），CosmosDB因为单文档大小限制，完全不适合你的20MB JSON文件场景。

内容的提问来源于stack exchange，提问作者Andriy Kopachevskyy