Drupal 7结合Apache Solr 4.7实现中文分词教程

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

Solr的版本升级较快，目前已经到5.x的版本，但是drupal的版本升级比较慢，因此关于Drupal升级使用solr高版本的问题，进展也比较慢，另外一个原因是Drupal的apachesolr模块是否支持也是一个问题，所以作者建议不要盲目的升级使用高版本，一定要测试之后才能在正式服务器上使用。

 

 

这次是参考网上的一些教程，把Apache Solr整合了中文分词，然后配合了Drupal的schema设置步骤，已经添加了自定义的中文分词器，对Drupal7以及中文分词做了支持。

Solr4.x增加了collection的概念，其实collection就是一个数据库的table的概念，这样一个core就可以有多个collection，solr的存储基本跟数据库就类似了。core等于数据库、collection等于数据表。

由于Jetty的版本不一样，导致配置文件的修改也有不同，因此jetty也做了适当修改，比如context.xml中把war文件改成了resourceBase的设置模式，以至于每次war文件解压不会覆盖work目录的修改。

第二个就是solr/drupal7/conf/solrconfig.xml文件中会引用很多相对路径的jar包文件，这些文件原本在solr- example中工作正常，但是单独拿出来就报错，因此作者把solr包里面的contrib文件夹复制到了solr(jetty)的根目录，并做了适当修改。

详细的使用还是跟之前的solr4z类似，只是这次只支持Drupal7，没办法支持Drupal6了。

#简单的启动请使用：(window/linux)

#端口号是：8983

java -jar start.jar

#使用辅助solrd (linux only)

#端口号： 8993

./solrd start #启动

./solrd startx #前端启动

./solrd stop #停止solr

Drupal里面设置url的时候，注意一下，直接使用corename/collection-name 就可以，具体参考Drupal大学这个问题：

在drupal中Solr4如何配置url?

 

有时为了安全及用户权限，我们不会直接把文件存在web路径用http给客户端下载，现在我们来讲讲如何php实现文件下载的原理及实例。

1、php下载原理图

 

2、文件下载源码：

<?php
$file_name="哈哈.jpg";//需要下载的文件
$file_name=iconv("utf-8","gb2312","$file_name");
$fp=fopen($file_name,"r+");//下载文件必须先要将文件打开，写入内存
if(!file_exists($file_name)){//判断文件是否存在
    echo "文件不存在";
    exit();
}
$file_size=filesize("a.jpg");//判断文件大小
//返回的文件
Header("Content-type: application/octet-stream");
//按照字节格式返回
Header("Accept-Ranges: bytes");
//返回文件大小
Header("Accept-Length: ".$file_size);
//弹出客户端对话框，对应的文件名
Header("Content-Disposition: attachment; filename=".$file_name);
//防止服务器瞬时压力增大，分段读取
$buffer=1024;
while(!feof($fp)){
    $file_data=fread($fp,$buffer);
    echo $file_data;
}
//关闭文件
fclose($fp);
?>

3、文件编码问题解决方法：

如果文件名是中文，php的函数不能识别中文文件名，一般如果程序编码为utf-8，php的函数比较古老，只能识别gb2312编码的中文，所以把中文用iconv(“原编码”，”要转成的编码”,”要转码的字符串”)函数可以转码。

比如，把一个字符串从utf-8转码为gb2312

$file_name=iconv(“utf-8”,”gb2312”,”$file_name”);

PHP下载远程文件原理

/**
 * PHP下载远程文件到本地原理：通过PHP函数，先读取远程文件，然后在本地创建一个新的空文件，
 * 然后将已读取的远程文件的内容写入到新创建的文件当中，这样就可以达到远程文件下载功能
 * @author JackyLi
 *
 */
class DownloadFile {
 /**
  * @param string $file  远程需要下载的文件
  */
 public static function get_img_file($file) {
  $targetDir = sys_get_temp_dir () . DIRECTORY_SEPARATOR . "plupload" . DIRECTORY_SEPARATOR;
  if (! file_exists ( $targetDir )) { //检测临时下载目录是否存在，不存在，则新建一个
   @mkdir ( $targetDir );
  }
  if (! $file) {
   return false;
  }
  $ext = strrchr ( $file, "." ); //取扩展名
  $filename = $targetDir . '/' . basename ( $file, $ext ) . date ( "YmdHis" ) . $ext; //需要保存的文件名称(带完整路径)
  ob_start (); //开启output buffering
  readfile ( $file ); //将文件读取buffering中
  $img = ob_get_contents (); //将buffering中的数据保存到变量当中，方便后续操作
  ob_end_clean (); //关闭output buffering
  $fp2 = @fopen ( $filename, "a" ); //打开目标文件(马上被写入数据的文件)
  fwrite ( $fp2, $img ); //写入数据到文件当中
  fclose ( $fp2 ); //关闭文件句柄
  //上面读取文件内容，可以直接用下面两行代替
  //    $file = file_get_contents($file); 
  //    file_put_contents($filename,$file);  
  return true;
 }
}

$download = new DownloadFile ();
$download->get_img_file ( 'http://news.sina.com.cn/c/2011-09-16/021323162600.shtml' );

批量添加数据和批量更新数据在可以为网站管理员节省不少时间，现在我们来学习一下用phpphp批量添加数据与批量更新数据的实现方法。

php如果要批量保存数据我们只要使用sql的insert into语句就可能实现数据批量保存了,如果是更新数据使用update set就可以完成更新了,操作方法都非常的简单,下面整理两个例子.

批量数据录入

设计方法:同时提交多条表单记录,为每一条记录设置相同的文本域名称,然后在表单处理页中,通过for循环来读取提取表单提交的数据,最后以数据的形式将数据逐条添加到数据库中.

其中,应用一个count()函数来获取数组中元素的个数.int count(mixed var);

表单提交页面,代码如下:

<form name="form1" method="post" action="index_ok.php">
<tr>
<td>商品名称</td>
<td>编号</td>
<td>单价</td>
<td>数量</td>
<td>产地</td>
<input name="data" type="hidden" value="<?php echo $data;?>">
</tr>
 
<tr>
<td><input name="sp_name[]" type="text" id="sp_name" size="15"></td>
<td><input name="sp_number[]" type="text" id="sp_number" size="10"></td>
<td><input name="price[]" type="text" id="price" size="8"></td>
<td><input name="counts[]" type="text" id="counts" size="8"></td>
<td><input name="address[]" type="text" id="address" size="15"></td>
</tr>
 
<input type="submit" name="submit" value="提交">
<input type="reset" name="reset" value="重置">
</form>

数据库连接页,代码如下:

<?php
$id=mysql_connect("localhost","root","password") or die('connection failed'.mysql_error());
if(mysql_select_db('mydatabase',$id))
echo "";
else
echo('select db failed:'.mysql_error());
?>

表单处理页,代码如下:

<?php session_start(); include("conn/conn.php");
if($submit==true){
    for($i=0;$i<count($sp_name);$i++){
        $path=$_POST["sp_name"][$i];
        $path1=$_POST["sp_number"][$i];
        $path2=$_POST["price"][$i];
        $path3=$_POST["counts"][$i];
        $path4=$_POST["address"][$i];
        $query=mysql_query("insert into tb_products(sp_name,sp_number,price,counts,address,data) values('$path','$path1','$path2','$path3','$path4','$data');}
    if($query==true){
        echo"提交成功";
    else
        echo"提交失败";}
}
?>

批量更新数据

 

主要通过while, list(),each()函数来实理数据的批量更新,list()函数用于一次性为多个变量赋值,代码如下:

<?php session_start(); include("conn/conn.php");?>
<form name="form1" method="post" action="index_ok.php">
<?php $query="select * from tb_users";
          $result=mysql_query($query);
             if($result==true){
             while($myrow=mysql_fetch_array($result)){
?>
<tr>
<td><input name="<?php echo $myrow[id];?> type="checkbox" value="<?php echo $myrow[id]; ?></td>
<td><?php echo $myrow[user];?></td>
<td><?php echo $myrow[popedom];?></td>
<td><?php echo $myrow[operation];?></td>
</tr>
<?php }} ?>
 
<tr>
<input type="submit" name="submit" value="激活">
<input type="submit" name="submit2" value="冻结">
</tr>
</form>

表单处理页,代码如下:

<?php session_start(); include("conn/conn.php")
if($submit=="激活"){
    while(list($name,$value)=each($_POST)){
        $result=mysql_query("update tb_user set operation='激活' where id='".$name."'");
    if($result==true){
        echo "<script> alert('激活成功');window.location.href='index.php';</script>";}}
 
if($submit2=="冻结"){
    while(list($name,$value)=each($_POST)){
        $result=mysql_query("update tb_user set operation='冻结' where id='".$name."'");
    if($result==true){
        echo "<script> alert('冻结成功');window.location.href='index.php';</script>";}}
}
?>

总结:心细的朋友会发现两个例子都有几个共同点,一个是表单from的表单名是以counts[]数组形式了,而在php处理接受页面都会使用for 或while来实现遍历了,下面我就简单的给大家分析这两个例子.

 

counts[]:这个在表单中是代表数组,如果你有10个表单那么我们name=counts[] 意思他们内个都是一样数组,知道这个是数组了就知道下面知道为什么会使用遍历了.

for或while:因为表单过来的是数组我们就可以遍历数组然后对数据进行保存了,如下代码:

while(list($name,$value)=each($_POST)){ 或

for($i=0;$i<count($sp_name);$i++){ 两个实现结果是一样的.

PHP程序设计中中文编码问题曾经困扰很多人，导致这个问题的原因其实很简单，每个国家(或区域)都规定了计算机信息交换用的字符编码集，如美国的扩展 ASCII 码，中国的 GB2312-80，日本的 JIS 等。作为该国家/区域内信息处理的基础，字符编码集起着统一编码的重要作用。

字符编码集按长度分为 SBCS(单字节字符集)，DBCS(双字节字符集)两大类。早期的软件(尤其是操作系统)，为了解决本地字符信息的计算机处理，出现了各种本地化版本(L10N)，为了区分，引进了 LANG, Codepage 等概念。但是由于各个本地字符集代码范围重叠，相互间信息交换困难; 软件各个本地化版本独立维护成本较高。因此有必要将本地化工作中的共性抽取出来，作一致处理，将特别的本地化处理内容降低到最少。这也就是所谓的国际化(118N)。各种语言信息被进一步规范为 Locale 信息。处理的底层字符集变成了几乎包含了所有字形的 Unicode。

现在大部分具有国际化特征的软件核心字符处理都是以 Unicode 为基础的，在软件运行时根据当时的ocale/Lang/Codepage 设置确定相应的本地字符编码设置，并依此处理本地字符。在处理过程中需要实现 Unicode 和本地字符集的相互转换，甚或以 Unicode 为中间的两个不同本地字符集的相互转换。这种方式在网络环境下被进一步延伸，任何网络两端的字符信息也需要根据字符集的设置转换成可接受的内容。

数据库中的字符集编码问题

流行的关系数据库系统都支持数据库字符集编码，也就是说在创建数据库时可以指定它自己的字符集设置，数据库的数据以指定的编码形式存储。当应用程序访问数据时，在入口和出口处都会有字符集编码的转换。对于中文数据，数据库字符编码的设置应当保证数据的完整性。GB2312、GBK、UTF-8 等都是可选的数据库字符集编码; 当然我们也可以选择 ISO8859-1 (8-bit)，只是我们得在应用程序写数据之前先将 16Bit 的一个汉字或 Unicode 拆分成两个 8-bit 的字符，读数据之后也需要将两个字节合并起来，同时还要判别其中的 SBCS 字符，因此我们并不推荐采用 ISO8859-1 作为数据库字符集编码。这样不但没有充分利用数据库自身的字符集编码支持，而且同时也增加了编程的复杂度。编程时，可以先用数据库管理系统提供的管理功能检查其中的中文数据是否正确。

PHP 程序在查询数据库之前，首先执行 mysql_query("SET NAMES xxxx"); 其中 xxxx 是你网页的编码(charset=xxxx)，如果网页中 charset=utf8，则 xxxx=utf8，如果网页中 charset=gb2312，则xxxx=gb2312，几乎所有 WEB 程序，都有一段连接数据库的公共代码，放在一个文件里，在这文件里，加入 mysql_query("SET NAMES xxxx") 就可以了。

SET NAMES 显示客户端发送的 SQL 语句中使用什么字符集。因此，SET NAMES 'utf-8' 语句告诉服务器"将来从这个客户端传来的信息采用字符集 utf-8"。它还为服务器发送回客户端的结果指定了字符集(例如，如果你使用一个 SELECT 语句，它表示列值使用了什么字符集)。

定位问题时常用的技巧

定位中文编码问题通常采用最笨的也是最有效的办法?在你认为有嫌疑的程序处理后打印字符串的内码。通过打印字符串的内码，你可以发现什么时候中文字符被转换成 Unicode，什么时候Unicode 被转回中文内码，什么时候一个中文字成了两个 Unicode 字符，什么时候中文字符串被转成了一串问号，什么时候中文字符串的高位被截掉了……

取用合适的样本字符串也有助于区分问题的类型。如："aa啊 aa?@aa" 等中英相间，GB、GBK特征字符均有的字符串。一般来说，英文字符无论怎么转换或处理，都不会失真(如果遇到了，可以尝试着增加连续的英文字母长度)。

解决各种应用的乱码问题

1) 使用标签设置页面编码

这个标签的作用是声明客户端的浏览器用什么字符集编码显示该页面，xxx 可以为 GB2312、GBK、UTF-8(和 MySQL 不同，MySQL 是 UTF8)等等。因此，大部分页面可以采用这种方式来告诉浏览器显示这个页面的时候采用什么编码，这样才不会造成编码错误而产生乱码。但是有的时候我们会发现有了这句还是不行，不管 xxx 是哪一种，浏览器采用的始终都是一种编码，这个情况我后面会谈到。

请注意， 是属于 HTML 信息的，仅仅是一个声明，仅表明服务器已经把 HTML 信息传到了浏览器。

2) header("content-type:text/html; charset=xxx");

这个函数 header() 的作用是把括号里面的信息发到 http 标头。如果括号里面的内容为文中所说那样，那作用和 标签基本相同，大家对照第一个看发现字符都差不多的。但是不同的是如果有这段函数，浏览器就会永远采用你所要求的 xxx 编码，绝对不会不听话，因此这个函数是很有用的。为什么会这样呢?那就得说说 http 标头和 HTML信息的差别了：

http 标头是服务器以 http 协议传送 HTML 信息到浏览器前所送出的字串。而 标签是属于 HTML 信息的，所以 header() 发送的内容先到达浏览器，通俗点就是 header() 的优先级高于 (不知道可不可以这样讲)。假如一个PHP页面既有header("content-type:text/html; charset=xxx")，又有，浏览器就只认前者 http 标头而不认 meta 了。当然这个函数只能在PHP页面内使用。

同样也留有一个问题，为什么前者就绝对起作用，而后者有时候就不行呢?这就是接下来要谈的Apache 的原因了。

3) AddDefaultCharset

Apache 根目录的 conf 文件夹里，有整个 Apache 的配置文档 httpd.conf。

用文本编辑器打开 httpd.conf，第 708 行(不同版本可能不同)有 AddDefaultCharset xxx，xxx为编码名称。这行代码的意思：设置整个服务器内的网页文件 http 标头里的字符集为你默认的 xxx字符集。有这行，就相当于给每个文件都加了一行 header("content-type:text/html; charset=xxx")。这下就明白为什么明明 设置了是 utf-8，可浏览器始终采用 gb2312 的原因。

如果网页里有 header("content-type:text/html; charset=xxx")，就把默认的字符集改为你设置的字符集，所以这个函数永远有用。如果把 AddDefaultCharset xxx 前面加个"#"，注释掉这句，而且页面里不含 header("content-type…")，那这个时候就轮到 meta 标签起作用了。

下面列出以上的优先顺序：

.. header("content-type:text/html; charset=xxx")

.. AddDefaultCharset xxx

..

如果你是 web 程序员，建议给你的每个页面都加个header("content-type:text/html; charset=xxx")，这样就可以保证它在任何服务器都能正确显示，可移植性也比较强。

4)PHP.ini 中的 default_charset 配置：

php.ini 中的 default_charset = "gb2312" 定义了PHP的默认语言字符集。一般推荐注释掉此行，让浏览器根据网页头中的 charset 来自动选择语言而非做一个强制性的规定，这样就可以在同台服务器上提供多种语言的网页服务。

结束语

其实PHP开发中的中文编码并没有想像的那么复杂，虽然定位和解决问题没有定规，各种运行环境也各不尽然，但后面的原理是一样的。了解字符集的知识是解决字符问题的基础。不过，随着中文字符集的变化，不仅仅是PHP编程，中文信息处理中的问题还是会存在一段时间的。

在网站中调用新闻标题或者摘要的时候，为了布局美观，我们经常要截取一部分显示，但是截取中文字符时有时经出现乱码，现在我们来讲讲如何解决截取中文乱码的问题。

用PHP函数substr截取中文字符可能会出现乱码，主要是substr可能硬生生的将一个中文字符“锯”成两半。


解决办法：

1、使用mbstring扩展库的mb_substr截取就不会出现乱码了。

2、自己书写截取函数，但效率不如用mbstring扩展库来得高。

3、如果仅是为了输出截取的串，可用如下方式实现：substr($str, 0, 30).chr(0)。

substr()函数可以分割文字，但要分割的文字如果包括中文字符往往会遇到问题，这时可以用mb_substr()/mb_strcut这个函数，mb_substr()/mb_strcut的用法与substr()相似，只是在mb_substr()/mb_strcut最后要加入多一个参数，以设定字符串的编码，但是一般的服务器都没打开php_mbstring.dll，需要在php.ini在把php_mbstring.dll打开。

举个例子：

代码如下	复制代码
<?php echo mb_substr('这样一来我的字符串就不会有乱码^_^', 0, 7, 'utf-8'); ?>

输出：这样一来我的字

代码如下	复制代码
<?php echo mb_strcut('这样一来我的字符串就不会有乱码^_^', 0, 7, 'utf-8'); ?>

输出：这样一

mb_substr是按字来切分字符，而mb_strcut是按字节来切分字符，但是都不会产生半个字符的现象。

PHP实现中文字串截取无乱码的方法

代码如下	复制代码
<?php //此函数完成带汉字的字符串取串 function substr_CN($str,$mylen){ $len=strlen($str); $content=''; $count=0; for($i=0;$i<$len;$i++){ if(ord(substr($str,$i,1))>127){ $content.=substr($str,$i,2); $i++; // www.jbxue.com }else{ $content.=substr($str,$i,1); } if(++$count==$mylen){ break; } } echo $content; } $str="34中华人民共和国56"; substr_CN($str,3);//输出34中 ?>