Hive的Python异步客户端

摘要：最近在做一个面向的查询服务，主程序是写的。旧版本的异步激活方式很简单但在试验无效，查到加入了一个的布尔型参数，猜想可能与异步有关，结果一试就灵。至于同样走的了，官方明确表示是不支持异步的啦。

最近在做一个面向Hive的查询服务，主程序是Python写的。
Hive的查询时间通常都要在1分钟以上，让用户等待不太友好，因此我们想到了用HiveServer2的异步接口，第一时间给用户返回，下次用户再访问的时候，利用密钥重建上次的查询，获取上个查询的状态，如果用户等待太久了还可以主动取消。

环境搭建
我们的Hadoop版本是CDH5.1.0，对应Hive版本是0.12.0。
Python与HiveServer2的通信是通过Thrift这种跨语言的协议实现的，所以首先要安装Python的Thrift依赖库。Thrift和Hive的版本更迭很快，对于0.12.0版本，推荐用y-lan同学的安装包，反正我亲证是没什么问题。
要注意的是，默认是需要SASL客户端中转的，对安全性要求不高的同学可以关掉SASL验证：
在Cloudera Manager控制台进入Hive->Configuration->HiveServer2 Default Group->Advanced，
「HiveServer2 Advanced Configuration Snippet (Safety Valve) for hive-site.xml」的配置中加入一行：

hive.server2.authenticationNOSASL

客户端
HiveServer2异步的实现原理是，HiveServer2对每个operation都配置了惟一的ID（其实是guid和secret两个参数），通过ID可以恢复上次的operation（其实session也是）。
旧版本的异步激活方式很简单：

SET hive.server2.blocking.query=true

但在0.12.0试验无效，grepcode查到TExecuteStatementReq加入了一个runAsync的布尔型参数，猜想可能与异步有关，结果一试就灵。
附上源码hiveserver2.py，有需要的同学自取吧。
至于同样走HiveServer2的Impala了，官方明确表示是不支持异步的啦（Async Queries Over Thrift / Beeswax）。

  
来自：建造者说