如何通过PHP高效统计MySQL每小时执行的查询量？

嘿，针对你的场景，我结合你有完整VPS权限的情况，给你梳理几个实用的解决方案和性能建议：

既然不想在代码里加计数器（避免额外开销），可以从数据库或系统层面入手，完全不需要改动业务代码：

• 数据库日志分析
  大多数数据库都支持记录所有查询日志（比如MySQL的通用查询日志、PostgreSQL的log_statement='all'）。你可以临时开启日志（注意开启前评估磁盘开销，建议配合日志轮转），然后用脚本按小时统计查询次数：
  比如MySQL下，用awk提取日志中的小时段并计数：

  awk '/Query/{print substr($1,1,13)}' /var/log/mysql/general.log | uniq -c
  

  这个命令会输出类似 1234 2024-05-20T14 这样的结果，代表14点有1234次查询。

• 数据库内置统计工具
  利用数据库自带的性能统计组件，比日志更高效：

  • MySQL：启用performance_schema，查询events_statements_summary_by_digest表，按时间聚合查询次数。比如：

    SELECT DATE_FORMAT(CURRENT_TIMESTAMP(), '%Y-%m-%d %H') as hour, SUM(count_star) as total_queries
    FROM performance_schema.events_statements_summary_by_digest
    GROUP BY hour;
    

  • PostgreSQL：启用pg_stat_statements扩展，执行类似的时间聚合查询，能直接拿到各时间段的查询总量。

• 系统层面网络监控
  如果数据库使用固定端口（比如3306），可以用tcpdump统计该端口的请求数，按小时聚合：

  tcpdump -i any port 3306 -n | awk '{print substr($1,1,13)}' | uniq -c
  

  注意这个方法会统计所有数据库交互（包括连接、断开），可以搭配过滤规则只统计查询相关的包（比如基于MySQL协议的命令类型）。

你提到用户首周200-1000、月末10000，得先估算下峰值QPS：
假设每个用户平均每分钟发起1次请求，10000用户的话就是 ~167请求/秒；如果单个请求包含50次查询，总QPS就是 8350次/秒。

要提前掌握负载情况，建议做压测模拟：

• 用wrk或ab工具模拟多用户请求：

  wrk -t12 -c400 -d30s http://your-api-domain.com/heavy-endpoint
  

• 压测同时监控核心指标：
  • 系统层面：用top看CPU使用率、vmstat看内存/swap、iostat看磁盘IO；
  • 数据库层面：用SHOW GLOBAL STATUS LIKE 'Queries'实时看QPS，SHOW PROCESSLIST看连接数和锁等待。

根据压测结果，你就能提前判断当前VPS配置（CPU、内存、带宽）是否能扛住月末的用户量，比如CPU持续跑满、连接数达到数据库上限，就需要扩容或优化。

别小看小查询——大量快速小查询累积起来，一样会成为性能瓶颈：

• 连接开销：每次查询的TCP连接建立、数据库会话初始化，会消耗额外的CPU和内存；
• 上下文切换：数据库频繁处理小查询，会导致CPU上下文切换次数飙升，降低整体吞吐量；
• 锁竞争：比如批量INSERT同一表时，即使是小插入，也可能出现行锁竞争；
• 网络往返：API和数据库之间的多次网络请求，延迟会累加（比如每次查询1ms，50次就是50ms，用户感知明显）。

优化方向可以从这几点入手：

• 合并查询：用JOIN代替多次单表SELECT，用INSERT ... VALUES (),(),()代替批量单条INSERT；
• 连接池：在API侧启用数据库连接池（比如Node.js的pg-pool、Python的SQLAlchemy连接池），复用数据库连接，减少连接开销；
• 热点数据缓存：把高频查询的结果存在Redis这类缓存中，直接返回缓存数据，减少数据库查询；
• 数据库调优：给查询字段加合适的索引，调整数据库配置（比如InnoDB的innodb_buffer_pool_size、max_connections）。

内容的提问来源于stack exchange，提问作者Bert Maurau