<
采集器,通常又叫小偷程序,主要是用来抓取别人网页内容的。关于采集器的制作,其实并不难,就是远程打开要采集的网页,然后用正则表达式将需要的内容匹配出来,只要稍微有点正则表达式的基础,都能做出自己的采集器来的。
前几天做了个小说连载的程序,因为怕更新麻烦,顺带就写了个采集器,采集八路中文网的,功能比较简单,不能自定义规则,不过大概思路都在里面了,自定义规则可以自己来扩展。
用php来做采集器主要用到两个函数:file_get_contents()和preg_match_all(),前一个是远程读取网页内容的,不过只在php5以上的版本才能用,后一个是正则函数,用来提取需要的内容的。
下面就一步一步来讲功能实现。
因为是采集小说,所以首先要将书名、作者、类型这三个提取出来,别的信息可根据需要提取。
这里以《回到明朝当王爷》为目标,先打开书目页,链接:http://www.86zw.com/Book/3727/Index.aspx
多打开几本书会发现,书名的基本格式是:http://www.86zw.com/Book/书号/Index.aspx,于是我们可以做一个开始页,定义一个<input type=text name=number>,用来输入需要采集的书号,以后就可以通过$_POST[‘number’]这种格式来接收需要采集的书号了。接收到书号,下面要做的就是构造书目页:$url=http://www.86zw.com/Book/$_POST[‘number’] /Index.aspx,当然这里是举个例子,主要是为了讲解方便,实际制作的时候最好检查一下$_POST[‘number’]的合法性。
构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页:$content=file_get_contents($url),这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例,其他的都一样。 打开书目页,查看源文件,找到“<span class="booktitle">《回到明朝当王爷》</span>”,这就是要提取出来的书名了。提取书名的正则表达式: /<span class="newstitle">(.*?)</span>/is,使用preg_match_all()函数将书名取出:preg_match_all("/<span class="newstitle">(.*?)</span>/is",$contents,$title);这样$ title[0][0]的内容就是我们要的标题了(preg_match_all函数的用法可以去百度查,这里就不详细说明了)。取出了书籍信息,接下来就是取章节内容了,要取章节内容,首先要做的就是找到每一章的地址,然后远程打开章节,用正则将内容取出来,入库或者直接生成html静态文件。这个是章节列表的地址:http://www.86zw.com/Html/Book/18/3727/List.shtm,可以看出这个和书目页一样,是有规律可寻的:http://www.86zw.com/Html/Book/分类号/书号/List.shtm。书号前面已经取得,这里的关键是找到分类号,分类号可以在前面的书目页找到,提取分类号:
preg_match_all("/Html/Book/[0-9]{1,}/[0-9]{1,}/List.shtm/is",$contents,$typeid);这样还不够,还需要一个切取函数:
PHP代码如下:
function cut($string,$start,$end){
$message = explode($start,$string);
$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容,$start为开始的地方,$end为结束的地方。取出分类号:
$start = "Html/Book/";
$end
= "List.shtm";
$typeid = cut($typeid[0][0],$start,$end);
$typeid = explode("/",$typeid);[/php]
这样,$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了:$chapterurl = http://www.86zw.com/Html/Book/.$typeid[0]/$_POST[‘number’]/List.shtm。有了这个就能找到每一章节的地址了。
<
1. 使用 ip2long() 和 long2ip() 以整型(integer)方式储存IP地址到数据库,而非字符串方式。这将几乎减少一半的储存空间(char(15)15个字节,integer则是8个字节),而且也更容易计算某一IP地址是否在一个范围之内。同时也加速搜索和排序。
2. 应用checkdnsrr()检查域名是否存在,来验证email地址的一部分。这个checkdnsrr()内建函数可以通过相应的域名或者IP地址查询DNS记录。有PHP开发者利用这个函数编写了一个自定义函数,能验证email地址的一部分,点击查看。请注意,此函数在windows平台尚未实现!请用 PEAR 程序库的 Net_DNS 代替。
3. 如果你使用PHP 5 + MySQL 4.1 版本组合或其版本以上,得试试改进的 mysqli_* 函数,而不用 mysql_* 函数。mysqli_* 函数的一个优越的特点是可以使用 prepared 语句。如果你维护一个对数据库依赖性很大的网站,这个函数将大大提升数据库的查询速度。不信你可以看看这篇性能测试文章—MySQLi vs MySQL。最终结果是 mysqli_stmt > mysql_query > mysqli_query > mysqli_multi_query 。mysqli_stmt最佳。
4. 学会、爱用三元操作符( ternary operator )。也就是if/else条件语句的代替,用 “?:” 表示。
5. 不必重造车轮,先看看PEAR 程序库有没有人已经发明这个轮子了。
6. highlight_file()能格式化你的代码,美观漂亮。
7. 使用 error_reporting(0) 函数,阻止潜在的敏感错误信息显示给用户。最好的情况是能在服务器上配置php.ini文件,直接屏蔽错误报告的显示。但是如果使用虚拟主机就没那么幸运能够编辑修改php.ini文件了,得使用另外的方法:在php代码首行添加error_reporting(0); 语句。这样的好处是使得SQL查询语句和服务器的物理路径等这些敏感错误信息完全不显示给用户。
8. 大量字符串文本储存入数据库之前,使用 gzcompress() 和 gzuncompress() 进行压缩和解压缩的转换。这个内建函数使用gzip算法,对文本的压缩率达90%以上。当然,经过压缩就无法进行全文搜索了。
9. 在函数的参数传递中使用”引用传递”,可以返回多个值。有编程语言基础的程序员在其它语言就知道这个用法了;然而一些只会html语言的网页设计者就感到困惑了。答案就是使用 “&” 符号处理变量,并以引用传递而非按值传递。
<
在网上找了一些资料,都是一堆费话,实现就下面一句就可以了.其它方法目前不知道.
$charset=''gbd'';
$conn=数据库链接;
@mysql_query("SET NAMES ".$charset."",$conn);
相关文章
php正确禁用eval函数与误区介绍
eval函数在php中是一个函数并不是系统组件函数,我们在php.ini中的disable_functions是无法禁止它的,因这他不是一个php_function哦。 eval()针对php安全来说具有很...2016-11-25
php中eval()函数操作数组的方法
在php中eval是一个函数并且不能直接禁用了,但eval函数又相当的危险了经常会出现一些问题了,今天我们就一起来看看eval函数对数组的操作
例子,
<?php
$data="array...2016-11-25
C# 中如何取绝对值函数
本文主要介绍了C# 中取绝对值的函数。具有很好的参考价值。下面跟着小编一起来看下吧...2020-06-25
Photoshop打开PSD文件空白怎么解决
有时我们接受或下载到的PSD文件打开是空白的,那么我们要如何来解决这个 问题了,下面一聚教程小伙伴就为各位介绍Photoshop打开PSD文件空白解决办法。 1、如我们打开...2016-09-14
C#操作本地文件及保存文件到数据库的基本方法总结
C#使用System.IO中的文件操作方法在Windows系统中处理本地文件相当顺手,这里我们还总结了在Oracle中保存文件的方法,嗯,接下来就来看看整理的C#操作本地文件及保存文件到数据库的基本方法总结...2020-06-25
C#实现HTTP下载文件的方法
这篇文章主要介绍了C#实现HTTP下载文件的方法,包括了HTTP通信的创建、本地文件的写入等,非常具有实用价值,需要的朋友可以参考下...2020-06-25
金额阿拉伯数字转换为中文的自定义函数
CREATE FUNCTION ChangeBigSmall
(@ChangeMoney money)
RETURNS VarChar(100) AS
BEGIN
Declare @String1 char(20)
Declare @String2 char...2016-11-25
C++中 Sort函数详细解析
这篇文章主要介绍了C++中Sort函数详细解析,sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变...2022-08-18
php批量替换内容或指定目录下所有文件内容
要替换字符串中的内容我们只要利用php相关函数,如strstr,str_replace,正则表达式了,那么我们要替换目录所有文件的内容就需要先遍历目录再打开文件再利用上面讲的函数替...2016-11-25
PHP文件上传一些小收获
又码了一个周末的代码,这次在做一些关于文件上传的东西。(PHP UPLOAD)小有收获项目是一个BT种子列表,用户有权限上传自己的种子,然后配合BT TRACK服务器把种子的信息写出来...2016-11-25