一、CICADA知识搜索引擎的产生背景

·企业知识迅猛增长，总量超过互联网数据总量

　 　根据统计，企业数据每年以200%的速度增长，其中80%以上的数据以文件、邮件、图片等非结构化数据存放在企业内计算机系统中的各个角落。而且这些数 据总量远远超过了互联网信息的总量。有数字表明，企业发布到互联网的信息只占到信息量的1%-2%，而98%以上的信息是存储在企业内部的。

·CICADA知识搜索引擎应运而生

　 　知识搜索引擎（Knowledge search engine）并非单纯的是一种搜索工具，它首先是知识管理的一种实现理念与工具，承担了“知识汇聚、知识发现、知识分类、知识聚类、知识门户的构建”， 通过搜索引擎技术完成知识管理的使命。知识搜索引擎、知识分类体系、知识专家网络共同构成了当今世界上先进知识管理系统的主要内涵。
知识搜索是在搜索引擎发展进入智能化阶段的过程，是建立在明确的知识来源基础上，根据明确的用户身份与诉求，回馈恰当知识结果的搜索引擎，更为强调知识的准确、标准，强调通过互动机制如评价、交流、修改、维护等进行搜索结果的自我学习，以达到知识搜索的智能化。
深蓝海域在知识管理和知识管理技术领域拥有多年积累，依据知识管理理念推出的知识搜索引擎正是为了解决“汇聚多类知识源，依据用户身份与诉求，回馈准确 知识，指导用户行动”这一命题而生，知识搜索引擎作为搜索引擎的一个分支，在为企业提供准确知识获取方面将起到不可或缺的作用。 字串8
字串1

CICADA的搜索流程示意图

·可维护、学习式分词技术

　 　与英文的自然分词不同，中文分词存在着众所周知的难度，把中文的句子切分成有意义的词，就是中文分词，也称切词。目前还是一个难题———对于需要上下文 区别的词以及新词（人名、地名等）很难完美的划分。国际上将同样存在分词问题的中国、日本和韩国并称为CJK(Chinese Japanese Korean)。分词机制的好坏，直接影响到用户对搜索结果的满意度，所以如何分词是搜索引擎的重中之重。
到目前为止，中文分词包括三种方法：1）基于字符串匹配的分词；2）基于理解的分词；3）基于统计的分词。以下是三种分词方法的比较：

字串2

　　Cicada 知识搜索引擎系统采用“Cicada's wings knife”作为分词器，取其分词快捷、细致之意。这套分词系统采用了“基于字符串匹配分词和统计分词”相结合的方式。利用统计方法进行词典的动态扩展， 即对搜索的词汇频率进行自主的阀值设置，对于超过阀值的词汇自动加入学习词库，从而克服了基于词典算法对"完全词典"的依赖，利用词典对统计的一些参数进 行学习评估，避免了以往靠实验得到这些参数的不确定性,同时将RMM算法与统计算法结合起来。除了通过自主学习获得新词以外，也可以通过手工维护的方式对 专业词库进行维护。目前，Cicada的基本分词词库已经达到50万条，金融、税务、制造、咨询等专业词库达到了20万条左右。
与目前流行的算法相比，Cicada's wings knife分词器在准确率，召回率，分词效率综合平衡上有明显优势。具体对比如下。
字串1

基于CICADA的企业(知识)门户示意图