php怎么写爬虫?一个PHP实现的轻量级简单爬虫
最近需要收集资料,在浏览器上用另存为的方式实在是很麻烦,而且不利于存储和检索。所以自己写了一个小爬虫,在网上爬东西,迄今为止,已经爬了近百 万张网页。现在正在想办法着手处理这些数据。
爬虫的结构:
爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始。在数据存储方面,数据库是首选,便于检索,而 开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php。它支持perl兼容正则表达式,连接mysql很方 便,支持http下载,而且windows系统和linux系统都可以部署。
正则表达式:
正则表达式是处理文字的基本工具,要取出html中的链接和图片,使用的正则表达式如下。
"#<a[^>]+href=(['\"])(.+)\\1#isU" 处理链接
"#<img[^>]+src=(['\"])(.+)\\1#isU" 处理图片
其他问题:
写爬虫还需要注意的一个问题是,对于已经下载过的url,不能重复进行下载,而有些网页的链接会形成环路,所以需要处理这个问题,我的处理方法是计算已经 处理的url的MD5 值,并存入数据库,这样就可以检验是否已经下载过。当然还有更好的算法,有兴趣的话,可以在网上找一下。
相关协议:
爬虫也有自己的协议,有个robots.txt文件定义了那些是网站允许遍历的,但是由于我的时间有限,没有实现这个功能。
其他说明:
php支持类编程,我写的爬虫主要的类.
1.url处理web_site_info,主要用处理url,分析域名等。
2.数据库操作mysql_insert.php,处理和数据库相关的操作。
3.历史记录处理,记录已经处理的url。
4.爬虫类。
存在的问题和不足
这个爬虫在小数据量的情况下,运行良好,但是在大数据量的情况下,历史记录处理类的效率就不是很高,通过在数据库结构中,对相关字段进行了索引,速度有了 提高,但是需要不断得读取数据,可能和php本身的array实现有关系,如果一次加载10万条历史记录,速度非常慢。
不支持多线程,每次只能处理一个url。
php运行本身有内存使用量限制,有一次在抓取深度为20的页面的时候,内存用尽程序被杀。
下面的url是源码下载。
http://xiazai.jb51.net/201506/other/net_spider.rar
使用的时候,先在mysql中创建net_spider数据库,然后用db.sql创建相关表。再在config.php中设置mysql 的用户名口令。
最后
php -f spider.php 深度(数值) url
就可以开始工作。如
php -f spider.php 20 http://news.sina.com.cn
现在感觉下来,其实做个爬虫没那么复杂,难的是数据的存储和检索。我现在的数据库,最大一个数据表已经15G,正在想办处理这些数据,mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google
代码如下 | 复制代码 |
<?php #加载页面 functioncurl_get($url){ $ch=curl_init(); curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_HEADER,1); $result=curl_exec($ch); $code=curl_getinfo($ch,CURLINFO_HTTP_CODE); if($code!='404'&&$result){ return$result; } curl_close($ch); } #获取页面url链接 functionget_page_urls($spider_page_result,$base_url){ $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out); if($get_url_result){ return$out[1]; }else{ return; } } #相对路径转绝对路径 functionxdtojd($base_url,$url_list){ if(is_array($url_list)){ foreach($url_listas$url_item){ if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){ $result_url_list[]=$url_item; }else{ if(preg_match("/^\//",$url_item)){ $real_url=$base_url.$url_item; }else{ $real_url=$base_url."/".$url_item; } #$real_url='http://www.sumpay.cn/'.$url_item; $result_url_list[] =$real_url; } } return$result_url_list; }else{ return; } } #删除其他站点url functionother_site_url_del($jd_url_list,$url_base){ if(is_array($jd_url_list)){ foreach($jd_url_listas$all_url){ echo$all_url; if(strpos($all_url,$url_base)===0){ $all_url_list[]=$all_url; } } return$all_url_list; }else{ return; } } #删除相同URL functionurl_same_del($array_url){ if(is_array($array_url)){ $insert_url=array(); $pizza=file_get_contents("/tmp/url.txt"); if($pizza){ $pizza=explode("\r\n",$pizza); foreach($array_urlas$array_value_url){ if(!in_array($array_value_url,$pizza)){ $insert_url[]=$array_value_url; } } if($insert_url){ foreach($insert_urlas$key=>$insert_url_value){ #这里只做了参数相同去重处理 $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); foreach($pizzaas$pizza_value){ $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value); if($update_insert_url==$update_pizza_value){ unset($insert_url[$key]); continue; } } } } }else{ $insert_url=array(); $insert_new_url=array(); $insert_url=$array_url; foreach($insert_urlas$insert_url_value){ $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); $insert_new_url[]=$update_insert_url; } $insert_new_url=array_unique($insert_new_url); foreach($insert_new_urlas$key=>$insert_new_url_val){ $insert_url_bf[]=$insert_url[$key]; } $insert_url=$insert_url_bf; } return$insert_url; }else{ return; } }
$current_url=$argv[1]; $fp_puts=fopen("/tmp/url.txt","ab");//记录url列表 $fp_gets=fopen("/tmp/url.txt","r");//保存url列表 $url_base_url=parse_url($current_url); if($url_base_url['scheme']==""){ $url_base="http://".$url_base_url['host']; }else{ $url_base=$url_base_url['scheme']."://".$url_base_url['host']; } do{ $spider_page_result=curl_get($current_url); #var_dump($spider_page_result); $url_list=get_page_urls($spider_page_result,$url_base); #var_dump($url_list); if(!$url_list){ continue; } $jd_url_list=xdtojd($url_base,$url_list); #var_dump($jd_url_list); $result_url_arr=other_site_url_del($jd_url_list,$url_base); var_dump($result_url_arr); $result_url_arr=url_same_del($result_url_arr); #var_dump($result_url_arr); if(is_array($result_url_arr)){ $result_url_arr=array_unique($result_url_arr); foreach($result_url_arras$new_url) { fputs($fp_puts,$new_url."\r\n"); } } }while($current_url=fgets($fp_gets,1024));//不断获得url preg_match_all("/<a[^>]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out); #echoa href #var_dump($out[1]); ?> |
index.php
代码如下 | 复制代码 |
<html> <head> <title>First PHP</title> </head> <body> <form name="form_a" method="post", action="fa.php"> 用户名: <input name="user" type="text" value="" size="12" maxlength="1000"> <br/> 密码: <input name="pwd" type="password" value="" size="12" maxlength="20"> <br/> 性别: <input name="sex" type="radio" value="男" checked>男 <input name="sex" type="radio" value="女">女 <br/><br/> 购买书籍:<br/> <?php $books = array("Linux设计", "C++软件设计", "PHP网页开发"); foreach ($books as $i=>$book) { echo "<input name=\"books\" type=\"checkbox\" value=$i>$book\n<br>\n"; } ?> <br/> |
选择课程:
代码如下 | 复制代码 |
<select name="class" id="class"> <?php $classes = array("C++程序设计", "C程序设计", "MFC程序设计", "Qt编程", "网络编程", "SQL数据库设计"); foreach ($classes as $key=>$value) { echo '<option value="' .$key.'">' . $value . '</option>\n'; } ?> </select> <br/> <input name="submit" type="submit" value="提交"> </form> </body> </html> |
fa.php
代码如下 | 复制代码 |
<?php #echo 'user: ' . $_POST["user"]; print_r($_POST); ?> |
Windows下PHP安装配置
软件版本:php-5.3.1-Win32-VC6-x86.zip
这个不需要额外的安装.net的库,所以就用这个了。可以使用其他的。
1.PHP安装
使用绿色方式,下载Zip文件解压。
2.配置
在解压的根目录下找到php.ini-development,是用于开发环境的配置文件;还有一个php.ini-production,这个是用于生产环境的配置文件。使用php.in-development,复制一份,重命名为php.ini。开始编辑。
定位registe_globals =Off;
建议不要打开,区别在于这个值是用来打开全局变量的,比如表单送过来的值,如果这个值设为“Off”,就只能用“$_POST['变量名']、$_GET['变量名']”等来取得送过来的值,如果设为“On”,就可以直接使用“$变量名”来获取送过来的值,当然,设为“Off”就比较安全,不会让人轻易将网页间传送的数据截取。这个值是否改成“On”就看自己感觉了,是安全重要还是方便重要?
为了使php能够调用其他模块,可以以extension关键字搜索,定位到如下,去除选项前的分号,则打开此模块的支持。
加载的模块越多,占用的资源要稍微多些,可以忽略。比如要启用mysql的支持,则找到如下
;extension=php_mysql.dll
去除前面的";"注释就可以了。
所有的模块都放在php解压目录下的ext目录中,可以根据需要启用。
加载模块报错:
有时启动Apache的时候会提示“找不到指定模块”的错误,是因为没有指定这些模块文件的位置,定位关键字“extension_dir”,修改Windows下为你的PHP模块的目录。
比如我的PHP目录在 D:\PHP,则配置
extession_dir = "D:\PHP\ext"
这样启动Apache就不会报错了。
这里介绍一种最简单的方法,直接将php安装路径、里面的ext路径指定到windows系统路径中——在“我的电脑”上右键,“属性”,选择“高级”标签,点选“环境变量”,在“系统变量”下找到“Path”变量,选择,双击或点击“编辑”,将“;D:\php;D:\php\ext”加到原有值的后面,当然,其中的“D:\php”是我的安装目录,你要将它改为自己的php安装目录,如下图所示,全部确定。
3.与Apache协同工作
php以module方式与Apache相结合,打开Apache的配置文件,以关键字“LoadModule”定位,配置要加载的模块,
在最后添加如下两行:
LoadModule php5_module D:/php/php5apache2_2.dll
PHPIniDir "D:/php"
第一行“LoadModule php5_module D:/php/php5apache2_2.dll”是指以module方式加载php,第二行“PHPIniDir "D:/php"”是指明php的配置文件php.ini的位置,是当然,其中的“D:/php”要改成你先前选择的php解压缩的目录。
在php的解压目录下同时有php5apache2.dll和php5apache2_2.dll,因为我们的apache版本是2.2的,所以加载dll
使用php5apache2_2.dll,可以根据自己的情况配置。
以关键字AddType application搜索,可以定义能够执行php文件类型,
原文如下:AddType allows you to add to or override the MIME configuration
# file specified in TypesConfig for specific file types.
加入
AddType application/x-httpd-php .php
AddTypeapplication/x-httpd-php.html
两行,你也可以加入更多,实质就是添加可以执行php的文件类型,比如你再加上一行“AddTypeapplication/x-httpd-php .htm”,则.htm文件也可以执行php程序了,你甚至还可以添加上一行“AddTypeapplication/x-httpd-php .txt”,让普通的文本txt也能运行php程序。
PHP的基本配置完成。
小编分享的这篇文章介绍了php把xls转换成csv的教程,给了简单易懂的实例代码,不会的同学可以参考一下这篇文章PHPExcel完全可以满足你的要求,给个简单处理例子,具体的你还是看看PHPExcel的文档:
代码如下 | 复制代码 |
$filename = "myexcel.xlsx"; $objReader = PHPExcel_IOFactory::createReader('Excel2007'); $objPHPExcel = $objReader->load($filename); $objWriter = PHPExcel_IOFactory::createWriter($objPHPExcel, 'CSV'); $objWriter->save(str_replace('.xlsx', '.csv',$filename)); |
相关文章
- 最基础的对数据的增加删除修改操作实例,菜鸟们收了吧...2013-09-26
- php语言实现redis的客户端与服务端有一些区别了因为前面介绍过服务端了这里我们来介绍客户端吧,希望文章对各位有帮助。 为了更好的了解redis协议,我们用php来实现...2016-11-25
- 有时我们在页面上需要选择数值范围,如购物时选取价格区间,购买主机时自主选取CPU,内存大小配置等,使用直观的滑块条直接选取想要的数值大小即可,无需手动输入数值,操作简单又方便。HTML首先载入jQuery库文件以及jRange相关...2015-03-15
- 本文实例讲述了JS实现的简洁纵向滑动菜单(滑动门)效果。分享给大家供大家参考,具体如下:这是一款纵向布局的CSS+JavaScript滑动门代码,相当简洁的手法来实现,如果对颜色不满意,你可以试着自己修改CSS代码,这个滑动门将每一...2015-10-21
jQuery+slidereveal实现的面板滑动侧边展出效果
我们借助一款jQuery插件:slidereveal.js,可以使用它控制面板左右侧滑出与隐藏等效果,项目地址:https://github.com/nnattawat/slideReveal。如何使用首先在页面中加载jquery库文件和slidereveal.js插件。复制代码 代码如...2015-03-15- 翻板抽奖的实现流程:前端页面提供6个方块,用数字1-6依次表示6个不同的方块,当抽奖者点击6个方块中的某一块时,方块翻转到背面,显示抽奖中奖信息。看似简单的一个操作过程,却包含着WEB技术的很多知识面,所以本文的读者应该熟...2015-10-21
SQLMAP结合Meterpreter实现注入渗透返回shell
sqlmap 是一个自动SQL 射入工具。它是可胜任执行一个广泛的数据库管理系统后端指印, 检索遥远的DBMS 数据库等,下面我们来看一个学习例子。 自己搭建一个PHP+MYSQ...2016-11-25- 复制代码 代码如下: // 第一种写法 $da = date("w"); if( $da == "1" ){ echo "今天是星期一"; }else if( $da == "2" ){ echo "今天是星期二"; }else if( $da == "3" ){ echo "今天是星期三"; }else if( $da == "4"...2013-10-04
- 在本篇内容里小编给大家分享的是关于用C#做网络爬虫的步骤和方法,需要的朋友们可以参考下。...2020-06-25
- 今天带大家来学习selenium库的使用方法及相关知识总结,文中非常详细的介绍了selenium库,对正在学习python的小伙伴很有帮助,需要的朋友可以参考下...2021-05-25
- js里面设置DOM节点透明度的函数属性:filter= "alpha(opacity=" + value+ ")"(兼容ie)和opacity=value/100(兼容FF和GG)。 先来看看设置透明度的兼容性代码: 复制代码 代码如下: function setOpacity(ele, opacity) { if (...2014-06-07
- 这篇文章主要介绍了selenium 反爬虫之跳过淘宝滑块验证功能,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2020-08-27
- 这篇文章主要介绍了利用C#实现网络爬虫,完整的介绍了C#实现网络爬虫详细过程,感兴趣的小伙伴们可以参考一下...2020-06-25
- 这篇文章主要介绍了Nginx中配置过滤爬虫的User-Agent的简单方法,文中罗列了一些常用搜索引擎的爬虫名称以免造成不必要的过滤,需要的朋友可以参考下...2016-01-27
- 本文我们需要解决的问题是如何实现Http请求来实现通信,解决Android 2.3 版本以后无法使用Http请求问题,下面请看正文。 Android开发中使用HttpClient来开发Http程序...2016-09-20
python爬虫用request库处理cookie的实例讲解
在本篇内容里小编给大家整理的是一篇关于python爬虫用request库处理cookie的实例讲解内容,有需要的朋友们可以学习参考下。...2021-02-21- 本文主要讲述了利用Python网络爬虫对指定京东商城中指定商品下的用户评论进行爬取,对数据预处理操作后进行文本情感分析,感兴趣的朋友可以了解下...2021-05-28
- 复制代码 代码如下:call PROCEDURE_split('分享,代码,片段',',');select * from splittable;复制代码 代码如下:drop PROCEDURE if exists procedure_split;CREATE PROCEDURE `procedure_split`( inputstring varc...2014-05-31
- 这篇文章主要为大家详细介绍了基于C#实现网页爬虫的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 在MySQL中,InnoDB引擎类型的表支持了外键约束。 外键的使用条件: 1.两个表必须是InnoDB表,MyISAM表暂时不支持外键(据说以后的版本有可能支持,但至少目前不支持); 2.外键列必须建立了索引,MySQL 4.1.2以后的版本在建立外键时...2015-11-24