摘要：最初使用的是，一个国人在基础上添加了分词的搜索引擎，可惜后来不再更新，的版本太低，也会出现后来也使用最新的，它可以支持几乎所有语言，通过其内置的对中文进行索引和搜索。基于以上弊端，为中日韩文本加入分词的是很有必要的。
Sphinx search 是一款非常棒的开源全文搜索引擎，它使用C++开发，索引和搜索的速度非常快，我使用sphinx的时间也有好多年了。最初使用的是coreseek，一个国人在sphinxsearch基础上添加了mmseg分词的搜索引擎，可惜后来不再更新，sphinxsearch的版本太低，bug也会出现；后来也使用最新的sphinxsearch，它可以支持几乎所有语言，通过其内置的ngram tokenizer对中文进行索引和搜索。
但是，像中文、日文、韩文这种文字使用ngram还是有很大弊端的：
当Ngram=1时，中文（日文、韩文）被分解成一个个的单字，就像把英文分解成一个个字母那样。这会导致每个单字的索引很长，搜索效率下降，同时搜索结果习惯性比较差。
当Ngram=2或更大时，会产生很多无意义的“组合”，比如“的你”、“为什”等，导致索引的字典、索引文件等非常大，同时也影响搜索速度。
基于以上弊端，为中日韩文本加入分词的tokenizer是很有必要的。
于是决定来做这件事。先去Sphinxsearch网站去看看，发现它已经发布了新的3.x版本，而且加入了很多很棒的特性，然而它从Sphinxsearch 3.x 开始，暂时不再开源. 不过，部分前Sphinxsearch的开发人员跳出来成立新团队，在Sphinx 2.x版本基础上开发自己的Manticoresearch。这两者很像，从它们的名字就可以看出来，这俩都是狮身怪兽。
Sphinx 是（古埃及）狮身人面像，Manticore 是（传说中的）人头狮身龙（蝎）尾怪兽
Manticoresearch 从Sphinxsearch 继承而来， 并做了性能优化. 因此，我选择了Manticoresearch 来添加中日韩分词。
首先从Manticoresearch的github仓库pull最新的代码来谈价，后面我也会尽力与Manticoresearch的主分支保持同步。
算法实现
算法基于字典，具体是cedar的实现的双数组trie。cedar是C++实现的高效双数组trie，也是分词字典的最佳之选。cedar的协议是GNU GPLv2, LGPLv2.1, and BSD;或者email联系作者所要其它协议。
通过最小匹配（而非单字）来匹配字典和字符串，把字符串分割成最短（而非单字）的词。如果遇到处理不了的歧义时，以单字做词。这样的目的是，保证搜索时能找到这些内容而不丢失。
稍微解释一下，对于搜索引擎的分词为什么这么做：
搜索引擎要能找到尽可能全内容：最彻底的方法是ngram=1，每个字多带带索引，这样你搜索一个单字“榴”时，含有“榴莲”的文本会被找到，但缺点就如前面所说。
搜索引擎要能找到尽可能相关的内容： 分词就是比较好的方法，对词进行索引，这样你搜索一个单字“榴”时，含有“榴莲”的文本就不会被找到。但分词的粒度要小，比如“编程语言”这是一个词组，如果把这个分成一个词，你搜索“编程”时，就找不到只含“编程语言”的文本，同样的，“上海市”要分成“上海”和“市”，等等。所以，“最小匹配”适用于搜索引擎。
编译安装
从github仓库manticoresearch-seg获取源码，编译方法跟Manticoresearch一样，具体看官方文档。
使用方法
准备词表 把所有词写到一个txt文件，一行一个词，如下所示：
words.txt中文
中国語
중국어
创建字典 成功编译代码后，就会得到创建字典的可执行程序make_segdictionary. 然后执行命令:
./make_segdictionary words.txt words.dict
这样就得到了字典文件: words.dict
配置索引 只需在配置文件的 index {...} 添加一行即可：
index {
... seg_dictionary = path-to-your-segmentation-words-dictionary ...
}
提醒: 分词对批量索引和实时索引都起作用。
吐槽
添加分词最初的想法是，我的代码作为新增文件加入项目，只在原有文件个别处添加就好。这样做分得比较清楚，后面对manticore官方仓库提交代码也比较清晰。于是就尝试这样做。
然而，Sphinx的代码组织的真是有点乱，Manticore沿用Sphinx的代码所以架构是一样的。最大的一个cpp文件sphinx.cpp 竟然有3万多行代码，很多类的声明直接放在这个.cpp 文件里面，而没有放到头文件sphinx.h里面。 因为我实现的分词tokenizer必须要继承它的类保持接口一致。尝试着把cpp文件的一些声明移到.h文件，结果是越移越多，要对原始文件做很大改动，甚至可能要重新架构源代码。不是不可以重新架构，一来会很费时间，二来向官方提交代码很难被接受，三是跟官方代码保持同步就很费劲，最终还是在原来sphinx.cpp文件中添加分词tokenizer: CSphTokenizer_UTF8Seg 。
当然，Sphinx的代码的类的继承关系比较清晰，继承原来的tokenizer实现新的也不算费事，修改了4个源码文件就添加好了分词tokenizer。
文章首发于我的个人博客猿人学
你也可以关注我的个人公众号：猿人学Python
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/43516.html
摘要：此文成于年月现状目前的稳定版本为目前对英文等字母语言采用空格分词故其对中文分词支持不好目前官方中文分词方案仅支持按单字分词在基础上目前国内有两个中文分词解决方案一个是一个是没有官网文档较少可查到的最新版本可支持官方还在维护但貌似不打 NOTE : 此文成于 2017 年 3 月. 现状: Sphinx 目前的稳定版本为 2.2.11.Sphinx 目前对英文等字母语言采用空格分词,故...
摘要：此文成于年月现状目前的稳定版本为目前对英文等字母语言采用空格分词故其对中文分词支持不好目前官方中文分词方案仅支持按单字分词在基础上目前国内有两个中文分词解决方案一个是一个是没有官网文档较少可查到的最新版本可支持官方还在维护但貌似不打 NOTE : 此文成于 2017 年 3 月. 现状: Sphinx 目前的稳定版本为 2.2.11.Sphinx 目前对英文等字母语言采用空格分词,故...
摘要：简介是开源的搜索引擎，它支持英文的全文检索。但是往往我们要求的是中文索引，怎么做呢国人提供了一个可供企业使用的，基于的中文全文检索引擎。 Sphinx 简介 Sphinx是开源的搜索引擎，它支持英文的全文检索。所以如果单独搭建Sphinx，你就已经可以使用全文索引了。但是往往我们要求的是中文索引，怎么做呢？国人提供了一个可供企业使用的，基于Sphinx的中文全文检索引擎。也就是说Cor...
摘要：简介是开源的搜索引擎，它支持英文的全文检索。但是往往我们要求的是中文索引，怎么做呢国人提供了一个可供企业使用的，基于的中文全文检索引擎。 Sphinx 简介 Sphinx是开源的搜索引擎，它支持英文的全文检索。所以如果单独搭建Sphinx，你就已经可以使用全文索引了。但是往往我们要求的是中文索引，怎么做呢？国人提供了一个可供企业使用的，基于Sphinx的中文全文检索引擎。也就是说Cor...
阅读 997·2021-10-19 11:42
阅读 2953·2021-09-10 10:51
阅读 651·2021-09-09 09:33
阅读 1744·2021-09-01 10:43
阅读 2746·2019-08-30 12:43
阅读 3501·2019-08-30 11:24
阅读 2075·2019-08-30 10:56
阅读 2763·2019-08-29 11:00
