您的位置：首页 > 服务器维护 > apache  >  推荐 几种Apache Lucene 分词系统

推荐 几种Apache Lucene 分词系统

 更新时间：2016年1月28日 00:50  点击：2159

1、 StopAnalyzer

StopAnalyzer能过滤词汇中的特定字符串和词汇，并且完成大写转小写的功能。

2、 StandardAnalyzer

StandardAnalyzer根据空格和符号来完成分词，还可以完成数字、字母、E-mail地址、IP地址以及中文字符的分析处理，还可以支持过滤词表，用来代替StopAnalyzer能够实现的过滤功能。

3、 SimpleAnalyzer

SimpleAnalyzer具备基本西文字符词汇分析的分词器，处理词汇单元时，以非字母字符作为分割符号。分词器不能做词汇的过滤，之进行词汇的分析和分割。输出地词汇单元完成小写字符转换，去掉标点符号等分割符。

在全文检索系统开发中，通常用来支持西文符号的处理，不支持中文。由于不完成单词过滤功能，所以不需要过滤词库支持。词汇分割策略上简单，使用非英文字符作为分割符，不需要分词词库的支持。

4、 WhitespaceAnalyzer

WhitespaceAnalyzer使用空格作为间隔符的词汇分割分词器。处理词汇单元的时候，以空格字符作为分割符号。分词器不做词汇过滤，也不进行小写字符转换。

实际中可以用来支持特定环境下的西文符号的处理。由于不完成单词过滤和小写字符转换功能，也不需要过滤词库支持。词汇分割策略上简单使用非英文字符作为分割符，不需要分词词库支持。

5、 KeywordAnalyzer

KeywordAnalyzer把整个输入作为一个单独词汇单元，方便特殊类型的文本进行索引和检索。针对邮政编码，地址等文本信息使用关键词分词器进行索引项建立非常方便。

6、 CJKAnalyzer

CJKAnalyzer内部调用CJKTokenizer分词器，对中文进行分词，同时使用StopFilter过滤器完成过滤功能，可以实现中文的多元切分和停用词过滤。在Lucene3.0版本中已经弃用。

7、 ChineseAnalyzer

ChineseAnalyzer功能与StandardAnalyzer分析器在处理中文是基本一致，都是切分成单个的双字节中文字符。在Lucene3.0版本中已经弃用。

8、 PerFieldAnalyzerWrapper

PerFieldAnalyzerWrapper功能主要用在针对不同的Field采用不同的Analyzer的场合。比如对于文件名，需要使用KeywordAnalyzer，而对于文件内容只使用StandardAnalyzer就可以了。通过addAnalyzer()可以添加分类器。

9、 IKAnalyzer

实现了以词典为基础的正反向全切分，以及正反向最大匹配切分两种方法。IKAnalyzer是第三方实现的分词器，继承自Lucene的Analyzer类，针对中文文本进行处理。

10、JE-Analysis

JE-Analysis是Lucene的中文分词组件，需要下载。

11、 ICTCLAS4J

ictclas4j中文分词系统是sinboy在中科院张华平和刘群老师的研制的FreeICTCLAS的基础上完成的一个java开源分词项目，简化了原分词程序的复杂度，旨在为广大的中文分词爱好者一个更好的学习机会。

12、 Imdict-Chinese-Analyzer

imdict-chinese-analyzer 是 imdict智能词典 的智能中文分词模块，算法基于隐马尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中文分词程序的重新实现（基于Java），可以直接为lucene搜索引擎提供简体中文分词支持。

13、 Paoding Analysis

Paoding Analysis中文分词具有极 高效率 和 高扩展性。引入隐喻，采用完全的面向对象设计，构思先进。其效率比较高，在PIII 1G内存个人机器上，1秒可准确分词100万汉字。采用基于不限制个数的词典文件对文章进行有效切分，使能够将对词汇分类定义。能够对未知的词汇进行合理解析。

14、 MMSeg4J

mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/ )实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。 MMSeg 算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex 加了四个规则过虑。官方说：词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法

[!--infotagslink--]

相关文章

  • Apache启动报错No space left on device: AH00023该怎么解决

    Apache启动报错No space left on device: AH00023错误可能是进程导致了，虽然小编不知道什么原因但网上提供的解决办法确实是可以解决我们的问题，下面来看看。对于这类错误是因为linux系统的ipc信号量造成的，apache启动时...2015-10-21

  • apache配置黑名单和白名单及账户权限控制

    本文我们将分享apache配置黑名单和白名单，apache层的账户权限控制，以及apache黑名单白名单过滤功能，apache rewrite规则实现白名单。 apache配置黑名单和白名单的两...2016-09-14

  • apache开启gzip详解教程

    今天在用百度工具检测时发，发现有个提示如下 原来可以开启gzip啊，因为我的是apache所以和iis不同，经过网站搜索开启方法如下 一，找到你的httpd.conf文件，打开找到如下 ...2016-01-28

  • 解决PHPstudy Apache无法启动的问题【亲测有效】

    这篇文章主要介绍了PHPstudy Apache无法启动的问题及解决方法【亲测有效】，本文给大家总结了三种方法供大家参考，需要的朋友可以参考下...2020-10-30

  • apache http server遇到了一个问题，需要关闭

    重装系统后，重新安装了xamp，最近启动的时候经常报apache http server遇到了一个问题，需要关闭，显示如图： 解决方法:查看szModName报错的模块，然后把PHP安装目录下对应的模块...2016-01-28

  • Windows Server 2016 上配置 APACHE+SSL+PHP+perl的教程详解

    Windows Server 2016 上配置 APACHE+SSL+PHP+perl怎么配置？小编推荐了一篇介绍Windows Server 2016 上配置 APACHE+SSL+PHP+perl的教程，有需要的同学快来看看吧！ ...2017-07-06

  • nginx+apache+mysql+php+memcached+squid搭建集群web环境

    当前，LAMP开发模式是WEB开发的首选，如何搭建一个高效、可靠、稳定的WEB服务器一直是个热门主题，本文就是这个主题的一次尝试。...2016-01-27

  • 隐藏Nginx或Apache以及PHP的版本号的方法

    这篇文章主要介绍了隐藏Nginx或Apache以及PHP的版本号的方法,主要用来防止针对性的漏洞攻击,需要的朋友可以参考下...2016-01-05

  • apache下设置缓存方法详细介绍

    默认情况下，apache安装完以后，是不允许被cache的。如果外接了cache或squid服务器要求进行web加速的话，就需要在htttpd.conf里进行设置，当然前提是在安装apache的时候要激活mod_c...2016-01-28

  • apache中Order Allow Deny详解

    Order A, B (其中，A和B均可以代表allow或者deny,以下conlist表示控制列表) A from conlist1 B from conlist2 那么最终访问控制的结果为：（以（A）表示A的控制范围，） (A)= (conli...2016-01-28

  • Apache Reference Manual (10)

    Satisfy directive Syntax: Satisfy 'any' or 'all' Default: Satisfy all Context: directory, .htaccess Status: core Compatibility: Satisfy is only available...2016-11-25

  • 简单介绍apache的rewirte配置教程

    任何二级域名，均跳转到www下。 本地测试站点：www.111cn.net，下面是apache里的配置： 代码如下 复制代码 <VirtualHost *> <Directory "D:/webroot/myp...2016-01-28

  • Mysql+Apache2+php5 安装

    下载下列文件至/usr/local/src/ apache(Unix平台最流行的WEB服务器平台)2.tar.gz MySQL(和PHP搭配之最佳组合)-5.0.22.tar.gz php(做为现在的主流开发语言)-5.1.2...2016-11-25

  • 以动态模块的方式安装apache2.0.44+PHP4.3.0

    经过一天的努力，终于装完了apache2.0.44+PHP4.3.0呵呵， 不禁佩服自己的愚蠢 ：（ 以前安装都是用php静态模块的方式，似乎在apache2以上的版本上行不通（猜测而已:)) 安装过程简...2016-11-25

  • Apache Reference Manual (2)

    AuthName directive Syntax: AuthName auth-domain Context: directory, .htaccess Override: AuthConfig Status: core This directive sets the name of the author...2016-11-25

  • IIS&Apache 攻击记录分析篇

    每个网管最黑暗的时候莫过于服务器被攻击后的束手无策，其实服务器遭受攻击后，服务器的记录文件详细地记录了黑客活动的蛛丝马迹。...2016-01-27

  • ThinkPhP+Apache+PHPstorm整合框架流程图解

    这篇文章主要介绍了ThinkPhP+Apache+PHPstorm整合框架流程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-11-23

  • apache中如何实现301转向

    编辑.htaccess的方法。 注意：在设置301重定向之前务必备份相应目录下的.htaccess文件。 1.重定向111cn.net到www.111cn.net 这种重定向旨在使域名唯一，是网站seo教程必...2016-01-28

  • 在apache下限制每个虚拟主机的并发数

    下载模块： http://www.nowhere-land.org/prog ... st_limit-0.4.tar.gz 官方网址： http://www.nowhere-land.org/programs/mod_vhost_limit/ 安装： apxs -c mod_vhost_...2016-01-28

  • Python 带你快速上手 Apache APISIX 插件开发

    Apache APISIX Python Runner 来了，社区中的小伙伴们在开发 Apache APISIX 插件时又多了一种新选择，本文将用实列向大家介绍,需要的朋友可以参考下面文章内容...2021-09-18