centos rocksdb 性能测试笔记(一)

mikyou 发布于2019-08-14 12:50 / 1441人阅读

摘要：最近把服务内存中的部分数据迁移到磁盘，存储引擎使用的迁移完毕，就迫不及待的进行了性能测试。我嘞个去，性能刚刚的。测试已经证明了我们的结果。那如果这样，那么测试得出的结论对于第一次请求耗时来说毫无意义。

最近把服务内存中的部分数据迁移到磁盘，存储引擎使用的rocksdb.迁移完毕，就迫不及待的进行了性能测试。我嘞个去，性能刚刚的。其实内心已经埋下了怀疑的种子，怎么可能？然后用top命令查看了下。

# top

呵呵，果然是filesystem cache的原因。但是作为有着严格求证精神的程序员（其实是对操作系统原理不算特别熟悉），赶紧写了个测试用例来证明自己的推测。

首先关闭服务，然后刷新和清除系统cache

#sync
#echo 1 > /proc/sys/vm/drop_caches
#echo 2 > /proc/sys/vm/drop_caches
#echo 3 > /proc/sys/vm/drop_caches

已知rocksdb数据库文件中存放了所有的影视实体信息，然后编写测试用例=》根据所有的影视id遍历所有的数据。我给测试用例分配了-Xmx1024M -Xms1024M

测试性能日志

再跑一次测试用例，观察性能日志

尼玛，发现没有，78186/4377 = 17.862919808088倍啊.
如果你再次运行上面的命令，刷新和清理系统缓存，再跑测试用例，发现耗时跟第一次差不多。这个我就不贴具体的实例了。当然你可以用iostat观察磁盘的io情况，发现几乎没有读请求。因为全cache住了。

测试已经证明了我们的结果。
关于操作系统中buffer和cache的机制，自己感兴趣的可以去查下。

那如果这样，那么测试得出的结论对于第一次请求耗时来说毫无意义。这时候再想想我们是否可以把文件系统的cache给关闭掉，然后进行测试？

下一篇文章我们继续>>

原文链接http://segmentfault.com/a/1190000003975291

云服务器 GPU云服务器笔记本安装centos 学习笔记一 rocksdb 性能测试测试

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/64738.html

centos rocksdb 性能测试笔记(二)

摘要：接着性能测试笔记一然后我就考虑使用禁用写入缓存，在下发现一直报驱动错误。关键是关机重启之后，测试时取中数据时发现系统仍然在不断的增加。官方要求内核最低版本。也就是限定了容器使用的内存只有，哪怕是系统现在就进行愉快的测试吧。。接着centos rocksdb 性能测试笔记(一)然后我就考虑使用hdparm禁用写入缓存，在centos下发现一直报驱动错误。在ubuntu上面禁用write...

brianway 2019-06-25 18:08 评论0 收藏0
centos rocksdb 性能测试笔记(二)

摘要：接着性能测试笔记一然后我就考虑使用禁用写入缓存，在下发现一直报驱动错误。关键是关机重启之后，测试时取中数据时发现系统仍然在不断的增加。官方要求内核最低版本。也就是限定了容器使用的内存只有，哪怕是系统现在就进行愉快的测试吧。。接着centos rocksdb 性能测试笔记(一)然后我就考虑使用hdparm禁用写入缓存，在centos下发现一直报驱动错误。在ubuntu上面禁用write...

baishancloud 2019-06-28 15:04 评论0 收藏0
CentOS 6.5 编译 rocksdb java

摘要：因为自带的版本过低，会导致编译通不过。设置环境变量以上设置的环境变量都是临时的，建议设置成永久全局变量。这时候如果出现错误，重新运行命令如果仍然报错，比如打不开某个文件，把下的全部删掉。 Step1 安装git服务，用于从github拉取rocksdb源代码.如果你想从源码安装最新版git，参考源码安装git # yum install git 安装后可以使用git --versio...

XanaHopper 2019-06-25 18:09 评论0 收藏0