本文介绍如何通过SQL分析ByteHouse 企业版查询内存占用分析方法。
以下示例以 192.18.. 节点为基础环境，在实际使用过程中，请根据您的场景修改对应参数。如果您不知道如何获取节点名称，可以通过以下方式获取。
SELECT * FROM system.clusters;
内存的使用情况会直接影响系统的性能和稳定性。通过查看并分析system.asynchronous_metrics表数据，帮助您辨识占用内存多的操作或数据，为您释放内存提供依据。
查看 192.18.. 节点中各内存占用情况。
SELECT *,
formatReadableSize(value)
FROM clusterAllReplicas('<cluster_name>', system.asynchronous_metrics)
WHERE (metric like '%Cach%'
OR metric like '%Mem%')
AND host() = '192.18.*.*'
ORDER BY metric;
┌─metric───────────────────────┬───value─────┬─formatReadableSize(value)─┐
│ CGroupMemoryTotal │ 34359738368 │ 32.00 GiB │
│ CGroupMemoryUsed │ 4641132544 │ 4.32 GiB │
│ CompiledExpressionCacheBytes │ 16384 │ 16.00 KiB │
│ CompiledExpressionCacheCount │ 2 │ 2.00 B │
│ FilesystemCacheBytes │ 0 │ 0.00 B │
│ FilesystemCacheFiles │ 0 │ 0.00 B │
│ HashTableStatsCacheEntries │ 8 │ 8.00 B │
│ HashTableStatsCacheHits │ 528011 │ 515.64 KiB │
│ HashTableStatsCacheMisses │ 15 │ 15.00 B │
│ IndexMarkCacheBytes │ 0 │ 0.00 B │
│ IndexMarkCacheFiles │ 0 │ 0.00 B │
│ IndexUncompressedCacheBytes │ 0 │ 0.00 B │
│ IndexUncompressedCacheCells │ 0 │ 0.00 B │
│ MMapCacheCells │ 0 │ 0.00 B │
│ MarkCacheBytes │ 7968 │ 7.78 KiB │
│ MarkCacheFiles │ 24 │ 24.00 B │
│ MemoryCode │ 390758400 │ 372.66 MiB │
│ MemoryDataAndStack │ 14373392384 │ 13.39 GiB │
│ MemoryResident │ 761221120 │ 725.96 MiB │
│ MemoryShared │ 377688064 │ 360.19 MiB │
│ MemoryVirtual │ 18072178688 │ 16.83 GiB │
│ OSMemoryAvailable │ 32480075776 │ 30.25 GiB │
│ OSMemoryCached │ 4239949824 │ 3.95 GiB │
│ OSMemoryFreePlusCached │ 32480169984 │ 30.25 GiB │
│ OSMemoryFreeWithoutCached │ 28240220160 │ 26.30 GiB │
│ OSMemoryTotal │ 32881352704 │ 30.62 GiB │
│ QueryCacheBytes │ 0 │ 0.00 B │
│ QueryCacheEntries │ 0 │ 0.00 B │
│ UncompressedCacheBytes │ 349487 │ 341.30 KiB │
│ UncompressedCacheCells │ 114 │ 114.00 B │
└──────────────────────────────┴─────────────┴───────────────────────────┘
分析内存占用时重点关注以下参数。
参数 | 说明 |
|---|---|
cluster_name | 集群名称 |
MarkCacheBytes | 标记缓存。
|
UncompressedCacheBytes | 未压缩缓存。
|
经分析内存占用情况后，如果您需要释放缓存，可以通过以下SQL语句释放缓存。
注意
ByteHouse 支持释放单个节点的缓存，你可是在查询页面选择全节点或选择一个节点模式执行如下指令，释放集群单节点或全部节点的缓存。释放缓存将对性能产生一定影响，可能导致SQL执行速度变慢，请您根据业务场景谨慎使用。
释放标记缓存。
SYSTEM DROP MARK CACHE;
释放未压缩缓存。
SYSTEM DROP UNCOMPRESSED CACHE;
ByteHouse的Merge操作主要作用是合并数据片段（parts）以提高查询性能和减少存储空间。它是一个定期执行的后台进程，可能会占用大量内存。
了解Merge操作的内存使用情况，可以帮助您识别是否是因Merge操作导致了系统的高内存消耗。您可以通过查看system.merges表数据了解Merge操作的内存占用的具体情况。
查看192.18.*.*节点上当前Merge占用内存的总和。
SELECT
formatReadableSize (sum(memory_usage))
FROM
clusterAllReplicas ('<cluster_name>', system.merges)
WHERE
host() = '192.18.*.*';
查看192.18.*.*节点上，2023-09-17 01:15:00至2023-09-17 01:30:00内Merge内存占用的详细情况。
SELECT *
FROM clusterAllReplicas ('<cluster_name>', system.part_log) -- 从system.part_log系统表中选择记录
WHERE (event_type = 'MergeParts') -- 查找event_type为'MergeParts'的事件
AND (event_time >= '2023-09-17 01:15:00') -- 事件时间大于或等于2023年9月17日01:15:00
AND (event_time <= '2023-09-17 01:30:00') -- 且事件时间小于或等于2023年9月17日01:30:00
AND host() = '192.18.*.*'
ORDER BY peak_memory_usage DESC -- 根据peak_memory_usage字段降序排序
LIMIT 1
参数 | 说明 |
|---|---|
cluster_name | 集群名称 |
event_type | 事件类型。 |
event_time | 事件发生时间。 |
在ByteHouse中，InMemory datapart通常用于提高查询性能，它的内存占用是ByteHouse的一个重要的性能指标。了解并监控InMemory datapart的内存占用，可以帮助您更好的管理、分配系统资源以及系统优化做有效依据。system.parts系统表提供了有关表中分区和数据段的信息，您可以通过查看此表，查看InMemory datapart的内存占用详细情况。
查看192.18.*.*节点上被加载到内存中InMemory datapart的大小。
SELECT
sum(data_uncompressed_bytes)
FROM
clusterAllReplicas ('<cluster_name>', system.parts)
WHERE
part_type = 'InMemory'
AND host() = '192.18.*.*';
在ByteHouse中，字典是一种重要的数据结构，用于优化查询性能，特别是在处理维度表和外键时。通过查看system.dictionaries表数据，能够帮助您了解各个字典的加载状态和内存占用情况。
查询192.18.*.*节点上字典内存的占用大小。
SELECT
formatReadableSize(sum(bytes_allocated))
FROM clusterAllReplicas('<cluster_name>', system.dictionaries)
WHERE host() = '192.18.*.*';
在ByteHouse 中，有一种特殊的数据类型BitMap64，底层使用BitEngine 字典，解决bitmap存储的元素过于稀疏。可通过查看system.bitengine表数据，能够帮助内存占用情况。
SELECT
database,
table,
arraySum(encoded_columns_size) as dict_size,
formatReadableSize(ceil(dict_size / 10000000.0) * 600 * 1024 * 1024) as memory_usage
FROM
clusterAllReplicas('<cluster_name>',system.bitengine）
WHERE host() = '192.18.*.*';
ORDER BY dict_size DES;
在ByteHouse中，Memory、Set、Join等引擎表的内存使用是有限的，监控这些指标可以帮助您预防因内存溢出导致的错误或异常行为。
查看Memory、Set和Join引擎表的内存占用情况。
SELECT
`database`,
name,
formatReadableSize(total_bytes)
FROM clusterAllReplicas('<cluster_name>',system.tables)
WHERE engine IN ('Memory','Set','Join');
针对性地分析特定时间段内的Query内存占用情况，有助于识别特定时间段内可能的内存瓶颈或异常使用模式。
在ByteHouse中，system.query_log表记录了Query的详细信息。这个表可以帮助你审计和分析数据库的使用情况，了解查询性能，从而解决潜在的问题。
查看192.18.*.*节点上正在运行的Query占用内存的总量。
SELECT formatReadableSize(sum(memory_usage)) -- 当前运行query内存占用总量
FROM clusterAllReplicas('<cluster_name>', system.processes)
WHERE host() = '192.18.*.*';
查看192.18.*.*节点上正在运行的Query占用内存的详情。
-- 当前运行query内存占用
SELECT initial_query_id,
elapsed, --query耗时
formatReadableSize(memory_usage), --内存消耗
formatReadableSize(peak_memory_usage), --申请内存
query --query详情
FROM clusterAllReplicas('<cluster_name>', system.processes)
WHERE host() = '192.18.*.*'
ORDER BY peak_memory_usage DESC
LIMIT 10;
查看192.18.*.*节点在2024-01-05 17:00:00和2024-01-05 17:40:00时间段内，运行的Query占用内存的详情。
-- 历史query内存占用
SELECT type,
event_time,
initial_query_id,
formatReadableSize(memory_usage),
query
FROM clusterAllReplicas('<cluster_name>', system.query_log)
WHERE (event_time >= '2024-01-05 17:00:00')
AND (event_time <= '2024-01-05 17:40:00')
AND host() = '192.18.*.*'
ORDER BY memory_usage DESC
LIMIT 10;