Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证

wangtdgoodluck 发布于2019-07-30 18:40 / 2240人阅读

摘要：前言记录一下在项目使用中的一些优化，对环境变量参数的测试验证用于控制线程并发数测试条件单个循环请求，持续时间大于基础数据软件环境检索服务功能汉明距离计算欧式距离计算结论测试总结如下时，分布为，，用户空间占比内核空间占比空闲占比检索耗

前言

记录一下Faiss在项目使用中的一些优化，对OMP_NUM_THREADS 环境变量参数的测试验证～

   OMP_NUM_THREADS 用于控制线程并发数.

   测试条件：单个循环请求，持续时间大于15m;
   基础数据：200w
   软件环境：docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu
   检索服务功能: (汉明距离计算 + 欧式距离计算 )

结论：

    测试总结如下：
        * CPU=1 & OMP_NUM_THREADS=1时，
         - 1m,5m,15m load average 分布为 31.54，41.16，43.43;
         - CPUs(%) 用户空间占比：32.1;内核空间占比:2.4;空闲占比：65.2；
         - faiss 检索耗时大约在5-6ms左右；
         - 检索服务整体响应时间较平稳，大部分在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=1时，
         - 1m,5m,15m load average 分布为 49.17，48.70，50.54;
         - CPUs(%) 用户空间占比：39.5;内核空间占比:4.2;空闲占比：30.3；
         - faiss 检索耗时大约在5-7ms左右；
         - 检索服务整体响应时间较平稳，大部分耗时在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=10时,
         - 1m,5m,15m load average 分布为 41.33，43.90，55.87;
         - CPUs(%) 用户空间占比：20.7;内核空间占比:2.3;空闲占比：58.0；
         - faiss 检索耗时不稳定，抖动较大, 大约在10-90ms左右；
         - 检索服务整体响应时间存在抖动，大约在14-92ms左右;
    * CPU=1 & OMP_NUM_THREADS=10时,
         - 1m,5m,15m load average 分布为 67.77，61.89，61.07;
         - CPUs(%) 用户空间占比：20.6;内核空间占比:2.9;空闲占比：18.2；
         - faiss 检索耗时不稳定，抖动较大, 大约在5-80ms左右；
         - 检索服务整体响应时间存在抖动，大约在13-99ms左右;

    最终结论：
           a: OMP_NUM_THREADS=1时，faiss检索耗时较稳定;
        b: OMP_NUM_THREADS=10时，faiss检索耗时不稳定，抖动较大;
        b: OMP_NUM_THREADS=1时, 多核CPU相较于单核CPU，负载略高，利用率略高，空闲占比较低；
        c: OMP_NUM_THREADS=10时, 多核CPU相较于单核CPU，负载较低，利用率较低，空闲占比较高；
        d: 优化方向：OMP_NUM_THREADS=1 + 多进程

测试结果统计： * CPU=1 & OMP_NUM_THREADS=1

* CPU=3 & OMP_NUM_THREADS=1

* CPU=3 & OMP_NUM_THREADS=10

* CPU=1 & OMP_NUM_THREADS=10

云服务器 GPU云服务器 python环境变量设置 django环境变量设置 java环境变量设置 jboss环境变量设置

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42858.html

Faiss利用mkl加速,构建索引训练时出错。

摘要：前言记录一下构建索引训练时碰到的一个坑。问题利用英特尔库加速。时报如下错误解决方案在调用之前导入调用。代码如下为什么这么做，我还不太理解。猜测是安装版本兼容的问题。具体可以看我提的补充如出现导入失败的情况。如解决方式如下执行转自个人博客前言记录一下faiss构建索引训练时碰到的一个坑。Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so ...

SnaiLiu 2019-07-31 10:14 评论0 收藏0
阿里云启动 AliSQL 邀测，性能提升 70%

摘要：云栖大会北京峰会上，阿里云宣布启动数据库开源项目。日前，用户内测邀请正式启动。测试报告样例阿里云关系数据库服务内核开发和运维团队负责人，活跃的社区贡献者丁奇表示，在通用基准测试场景下，版本比官方版本有着的性能提升。 2016 云栖大会·北京峰会上，阿里云宣布启动 AliSQL 数据库开源项目。日前，用户内测邀请正式启动。根据阿里云数据库团队的规划，今年 10 月，开发者将可以在阿里云 Cod...

weij 2019-04-25 17:44 评论0 收藏0