dble性能测试的数据如何判断合理性？

[PanternBao]

问题描述

用dble做性能测试，和mysql相比，差距明显，性能损失约50%，是否合理？不合理应该如何调优？

压测

Dble 3.20.06.0
Mysql 5.7.21
压测工具：Sysbench 1.0.20
压测场景：单线程、单点查询(如：select * from table where id = 1;)
压测参数cleanup&prepare：/usr/bin/sysbench --mysql-db=mytest --db-driver=mysql --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-table-engine=innodb --mysql-user=action --oltp_auto_inc=off --mysql-password=action /usr/share/sysbench/tests/include/oltp_legacy/insert.lua --oltp_tables_count=1 --oltp-table-size=100000 [cleanup ｜ prepare]
压测参数run：/usr/bin/sysbench --mysql-db=mytest --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-table-engine=innodb --mysql-user=action --mysql-password=action /usr/share/sysbench/tests/include/oltp_legacy/select.lua --oltp_tables_count=1 --oltp-table-size=100000 --threads=1 --oltp-read-only=off --report-interval=1 --default-charset=utf8 --time=30 --max-requests=0 --percentile=95 run

准备工作：
Mysql中创建sbtest数据库
Dble中准备sbtest数据库，sharding.xml配置如下：

<schema name="sbtest" shardingNode="dn1" sqlMaxLimit="100"></schema>

bootstrap.cnf

-DusePerformanceMode=1

分别多组压测结果
Mysql：

    transactions:                        133222 (4439.20 per sec.)
    queries:                             133222 (4439.20 per sec.)

    transactions:                        130937 (4363.07 per sec.)
    queries:                             130937 (4363.07 per sec.)

    transactions:                        132522 (4415.87 per sec.)
    queries:                             132522 (4415.87 per sec.)

Dble：

    transactions:                        60373  (2011.74 per sec.)
    queries:                             60373  (2011.74 per sec.)

    transactions:                        61131  (2037.01 per sec.)
    queries:                             61131  (2037.01 per sec.)

    transactions:                        60758  (2024.57 per sec.)
    queries:                             60758  (2024.57 per sec.)

小结：从QPS/TPS值来看，Dble是Mysql的一半(约值)；使用Dble的性能比直接连接Mysql损耗了50%(约值)

RTT耗时

【Client -> Mysql】 : min/avg/max/mdev = 0.194/0.270/0.419/0.060 ms
【Client -> Dble -> Mysql】: min/avg/max/mdev = 0.183/0.308/0.411/0.076 ms，min/avg/max/mdev = 0.148/0.301/0.424/0.078 ms

小结：【Client -> Dble -> Mysql 】架构比【Client -> Mysql】多一个RTT的消耗

[wenyh1]

在与Mysql性能测试比较之前，需要先观测dble自身现状的性能如何.

Dble自身性能调优

在管理端（9066）中：

• 使用 show @@cost_time 观察执行单条sql时，各个阶段的耗时.
• 使用 show @@thread_used 用于观察dble内部不同线程的负载情况.

事实上，Dble官方文档中就有提及如何观测&调整：2.18 性能观测以及调试概览
注：调优中涉及的几个开启参数，需关闭，否则会影响后续的性能压测结果

Dble与Mysql性能的合理性比较

以下是在理想状态（每台应用之间的RTT和process耗时相等）的单线程场景下，Client -> Dble与Client -> Mysql的耗时比例：

• Dble作为中间件，比直连Mysql多了一个RTT+一个processB(Dble内部处理数据时间)；
• 若应用之间的RTT处于不稳定，则排查下网络层面的状态
• 实际上，在做Dble与Mysql性能对比时，主要需要看Dble的processB是否处于稳定值状态即可；

注：RTT值可以使用ping的方式获取

小结

结合上述的合理性比较，再看上面性能对比结果和RTT消耗的数据：

	Dble	Mysql	Dble : Mysql
QPS/TPS均值	(2011.74+2037.01+2024.57)/3	(4439.20+4363.07+4415.87)/3	45 : 100
RTT耗时	0.308+0.301	0.270	100 : 44

假设，Dble的processB(处理数据耗时)不计, 预计Dble的QPS/TPS均值在(4406.04/100*44=)1938左右；
实际Dble的QPS/TPS均值为2024.44，比预期值要高点；（可能当时压测的RTT耗时和ping时的RTT耗时还是存在有些差异，这里主要是例举数据提供计算参考）