音视频类非结构化数据导入HDFS是否会切分为128MB块存储？

默认情况下，音频、视频类非结构化文件导入HDFS时，和文本、压缩包、表格等其他所有类型文件遵循完全一致的存储规则，会按照集群配置的块大小（Hadoop 2.x/3.x默认是128MB，1.x版本默认64MB）切分后存储，不存在针对音视频的默认特殊处理。

• HDFS的块切分逻辑和文件内容完全无关：系统处理上传文件时只识别字节流，不会解析文件格式判断类型，所有文件都按统一规则切分。文件大小超过块大小时，会被拆成若干个等于块大小的分片加最后一个不足块大小的分片，分散存在不同DataNode上；如果文件本身比块小，就只占一个数据块，实际占用空间等于文件自身大小，不会硬凑128MB。
• 部分集群中音视频文件块更大是人工配置的结果，不是系统默认策略。因为音视频单文件体积普遍偏大，很多运维会给专门存音视频的HDFS目录单独把块大小调到256MB甚至512MB，减少集群总块数量，降低NameNode存储元数据的压力。这个配置是针对目录生效的，只要放在这个目录下的文件不管是什么格式都会用更大的块，不是系统识别到音视频自动调整的。

常见疑问：音视频是连续编码的，切分存储会不会把文件切坏导致不能播放？
完全不会。切分是底层存储的逻辑，用HDFS客户端下载整个文件的时候，客户端会自动按顺序把所有块拼接成和原文件完全一致的完整文件，和存在本地磁盘的文件没有区别，不会损坏。
如果跑MapReduce、Spark这类并行计算任务处理HDFS上的音视频时出现解析失败，是计算框架的输入切片逻辑没适配音视频编码，切到了不完整的帧导致的，属于上层应用的适配问题，和HDFS底层的块切分存储逻辑没有关系。

内容的提问来源于stack exchange，提问作者Koala