为什么用量查询流量数据与日志统计流量数据有差异?
问题现象
通过视频点播控制台用量查询页面(或 OpenAPI)查询到的加速域名使用的流量数据与通过日志统计的流量数据存在差异。
问题原因
日志统计流量是统计日志中 response size 字段记录的流量数据,只统计了应用层产生的流量,但实际产生的网络流量(网络层统计的流量)通常比应用层流量要高出 7%~15%。主要原因是网络层流量比应用层流量多了以下两个流量消耗:
- TCP/IP 包头:应用层流量在开始网络传输之前,需要先使用 TCP 协议(传输层)封装为 TCP 数据包,再使用 IP 协议(网络层)封装为 IP 数据包,IP 数据包最大为 1500 字节,这其中包含了 20 字节的 TCP 协议包头和 20 字节的 IP 协议包头,这两个协议包头也会产生网络流量,但由于应用层无法统计到这两个包头的流量,因此日志统计流量里不包含这 40 字节。这部分包头消耗的网络流量至少占通过日志统计流量的 2.74%(按最大 IP 数据包 1500 字节,其中 TCP/IP 包头 40 字节,应用层数据 1460 字节),应用层数据越小,占比越大,通常在 3% 左右。
- TCP 重传:由于互联网中网络情况较为复杂,在出现网络拥堵、设备故障等情况下就会出现丢包,通常有 3%~10% 的数据会被互联网丢弃,数据包被丢弃后的重传动作是由操作系统内核层的协议栈处理的,无法记录到应用层日志中,因此这部分也会产生额外的网络消耗。
基于以上两个额外的网络流量消耗,在行业惯例中,会在基于日志中 response size 字段统计出的应用层流量的基础上,再加上 7%~15% 的网络消耗来得出实际的计费流量数据(即:体现在费用账单上的数据)。视频点播取平均值 10% 做为网络消耗流量,因此实际的计费流量(也包括监控查询流量)是通过日志统计流量的 1.1 倍(即:TCP 系数 1.1)。