通过PHP程序知道蜘蛛是否访问你的网站(附代码)

搜索引擎的蜘蛛访问网站是通过远程抓取页面来进行的，我们不能使用JS代码来取得蜘蛛的Agent信息，但是我们可以通过image标签，这样我们就可以得到蜘蛛的agent资料了，通过对agent资料的分析，就可以确定蜘蛛的种类、性别等因素，我们在通过数据库或者文本来记录就可以进行统计了。
数据库结构：
#
# 表的结构 `naps_stats_bot`
#

CREATE TABLE `naps_stats_bot` (
`botid` int(10) unsigned NOT NULL auto_increment,
`botname` varchar(100) NOT NULL default '',
`botagent` varchar(200) NOT NULL default '',
`bottag` varchar(100) NOT NULL default '',
`botcount` int(11) NOT NULL default '0',
`botlast` datetime NOT NULL default '0000-00-00 00:00:00',
`botlasturl` varchar(250) NOT NULL default '',
UNIQUE KEY `botid` (`botid`),
KEY `botname` (`botname`)
) TYPE=MyISAM AUTO_INCREMENT=9 ;

#
# 导出表中的数据 `naps_stats_bot`
#

INSERT INTO `naps_stats_bot` VALUES (1, 'Googlebot', 'Googlebot/2.X ( http://www.googlebot.com/bot.html)', 'googlebot', 0, '0000-00-00 00:00:00', '');
INSERT INTO `naps_stats_bot` VALUES (2, 'MSNbot', 'MSNBOT/0.1 (http://search.msn.com/msnbot.htm)', 'msnbot', 0, '0000-00-00 00:00:00', '');
INSERT INTO `naps_stats_bot` VALUES (3, 'Inktomi Slurp', 'Slurp/2.0', 'slurp', 0, '0000-00-00 00:00:00', '');
INSERT INTO `naps_stats_bot` VALUES (4, 'Baiduspider', 'Baiduspider ( http://www.baidu.com/search/spider.htm)', 'baiduspider', 0, '0000-00-00 00:00:00', '');
INSERT INTO `naps_stats_bot` VALUES (5, 'Yahoobot', 'Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)', 'slurp', 0, '0000-00-00 00:00:00', '');
INSERT INTO `naps_stats_bot` VALUES (6, 'Sohubot', 'sohu-search', 'sohu-search', 0, '0000-00-00 00:00:00', '');
INSERT INTO `naps_stats_bot` VALUES (7, 'Lycos', 'Lycos/x.x', 'lycos', 0, '0000-00-00 00:00:00', '');
INSERT INTO `naps_stats_bot` VALUES (8, 'Robozilla', 'Robozilla/1.0', 'robozilla', 0, '0000-00-00 00:00:00', '');

PHP程序：

error_reporting(E_ALL & ~E_NOTICE);

function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}

if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}

if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}

if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}

if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}

if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}

if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}

$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
//添加蜘蛛的抓取记录
$searchbot = get_naps_bot();
if ($searchbot) {
$DB_naps->query("UPDATE naps_stats_bot SET botcount=botcount 1, botlast=NOW(), botlasturl='$tlc_thispage' WHERE botname='$searchbot'");
}

?>

代码： <?php
$referer = $_SERVER['HTTP_REFERER'];
if(!$referer == ''){
if(ereg('http',$referer)){
$referer = @explode('.',$referer);
if(is_array($referer)){
$referer = $referer['1'];
if($referer == 'google' OR $referer == 'baidu'){
?>
<script language="javascript">
<!--
window.open ('http://web.etoow.com', 'ad', 'height=600, width=800, top=0,left=0,toolbar=yes, menubar=yes, scrollbars=yes, resizable=yes, location=yes, status=yes')
//写成一行
-->
</script>
<?php

}
}
}
}
?>

使用方法：将代码修改后复制插入到所需要的PHP页面里面。
搜索引擎可以自己增加。

当你在某个论坛上注册时，通常都有一个 e-mail 地址验证的功能，当你输入非法的一个格式时会出现某种错误提示信息的。

　　我们可以使用下面的规则表达式
ereg("^[a-zA-Z0-9_] @[a-zA-Z0-9-] .[a-zA-Z0-9-.] $]", $email);

　　但是上面这个式子的功能是只能检查字符串，不能进行输出。我们可以进一步利用这个式子来达到返回信息的功能：
if (eregi("^[a-zA-Z0-9_] @[a-zA-Z0-9-] .[a-zA-Z0-9-.] $]", $email))
{
return FALSE;
}

　　下面我们可以进一步来检测主机名，是不是存在：
list($Username, $Domain) = split("@",$email);
if(getmxrr($Domain, $MXHost))
{
return TRUE;
}
else
{
if(fsockopen($Domain, 25, $errno, $errstr, 30))
{
return TRUE;
}
else
{
return FALSE;
}
}

　　现在我们再把上面的两个功能用PHP组织起来构成一个函数：
function checkEmail($email)

{ if(eregi("^[a-zA-Z0-9_] @[a-zA-Z0-9-] .[a-zA-Z0-9-.] $]", $email))
{
return FALSE;
}

list($Username, $Domain) = split("@",$email);

if(getmxrr($Domain, $MXHost))
{
return TRUE;
}
else
{
if(fsockopen($Domain, 25, $errno, $errstr, 30))
{
return TRUE;
}
else
{
return FALSE;
}
}
}

　　之后我们就可以利用这个函数来检测是否存在输入的一个Email了，举个例子：

if(checkEmail(web@etoow.com) == FALSE)
{
echo "您输入的E_mail是不正确的.";
}
else
{
echo "输入的E_mail是正确的.";
}

目前，不少网站为了防止用户利用机器人自动注册、登录、灌水，都采用了验证码技术。所谓验证码，就是将一串随机产生的数字或符号，生成一幅图片，图片里加上一些干扰象素（防止OCR），由用户肉眼识别其中的验证码信息，输入表单提交网站验证，验证成功后才能使用某项功能。

??我们这里展示了如何编写PHP程序实现验证码功能：

??代码一：　

　　<?php
/*
*　 Filename:　　authpage.php
　　*/

　　srand((double)microtime()*1000000);

　 //验证用户输入是否和验证码一致
　　　　if(isset())　
　　　　{
　　　　　　　　if(strcmp(,)==0)
　　　　　　　　　　　　echo "验证成功！";
　　　　　　　　else
　　　　　　　　　　　　echo "验证失败！";
　　　　}
　　
　 //生成新的四位整数验证码
　　　　while((=rand()000)<1000);　
　　?>
　　　　<form action=authpage.php method=post>
　　　　<table>
　　　　　　　　请输入验证码：<input type=text name=authinput style="width: 80px"><br>
　　　　　　　　<input type=submit name="验证" value="提交验证码">
　　　　　　　　<input type=hidden name=authnum value=<? echo ; ?>>
　　　　　　　　<img src=authimg.php?authnum=<? echo ; ?>>
　　　　</table>
　　　　</form>

??代码二：

<?php
　 /*
　　*　 Filename:　　authimg.php
　　*/

　 //生成验证码图片
　　　　Header("Content-type: image/PNG");　
　　　　srand((double)microtime()*1000000);
　　　　 = imagecreate(58,28);
　　　　 = ImageColorAllocate(, 0,0,0);
　　　　 = ImageColorAllocate(, 255,255,255);
　　　　 = ImageColorAllocate(, 200,200,200);
　　　　imagefill(,68,30,);

　假如自己的服务器也能够实现简记域名就好了。其实这并不复杂。你也可以做一个简记域名系统。

　　简记域名系统的要害技术在于：实现Web页面的重定向（Redirctory）。在本质上，简记域名系统和虚拟机系统完全不同。虚拟机的虚拟域名和IP是存在一一对应关系的。而简记域名系统不需要将域名和IP做一一映射。也就是说，它根本不需要复杂的域名解析机制和虚拟机来完成，它所做的事情就是当你在请求yourname.somedomain时，将你的浏览器重新定向到你本来存放Html页面的地方。

　　本程序运行环境是:RedHat 5.1 Linux下的Apache1.3.6 Web服务器 PHP3语言。在编写程序之前，我们首先要设置好我们的服务器。首先要让Apache服务器支持php3。到ftp.redhat.com下载mod_php-2.0.1-9.i386.rpm，安装后，修改/etc/httpd/conf/http.conf文件，去掉#LoadModule php3_module一句前面的#注释号，同样在/etc/httpd/conf/srm.conf文件里去掉#AddType application/x-httpd-php3 .php3前面的注释号，同时在DirectoryIndex一项后添加index.php3。重新启动Apache Server，此时服务器就支持标准的php3语言脚本文件了并能将index.php3作为默认的首页。

　　设置DNS服务器，使其能对泛域名解析。一般的Unix和Linux系统的DNS解析都是由Bind守护程序完成的，Bind4和Bind8的配置文件分别/etc/named.boot和name.conf，配置时根据你的系统修改。设置Bind的配置文件/etc/named.boot，在其中加入“primary domain.com db.domain”一句，添加一个新的域记录。在/etc/name.conf中加入：

　　zone "domain.com" {

　　type master;

　　file "db.domain”; };

　　在/var/name/中新建主域记录文件db.domain，其格式为：

　　N SOA dns.domain.com root.domain.com (

　　199811291 ;Serial

　　28800 ;refresh

　　7200 ;retry

　　604800 ;expire

　　86400) ;minimum

　　dns

　　MX 10 dns.domain.com.

　　dns A 202.115.135.50

　　www A 202.115.135.50

　　* A 202.115.135.50

　　要害是最后一句，即将整个域可能出现未做标记的所有Hostname全部指向同一IP。 执行/usr/sbin/ndc reload，重新加载域名数据库。测试一下，此时应该随便ping一个domain域内的主机（除已经标记的），都指向了指定的IP，那么DNS服务器设置完成。

　　最后一步是编制PHP3脚本。我们刚才已经在图中具体的说明了整个的原理，所以写一个重新定向的程序就不是很难了。

　　让我们来看一个由IE5.0送出的完整HTTP头信息：

　　Accept: application/vnd.ms-excel, application/msword, application/vnd.ms-powerpoint,image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*

　　Accept-Encoding: gzip, deflate

　　Accept-Language: zh-cn

　　Connection: Keep-Alive

　　Host:ww.yahoo.com

　　User-Agent: Mozilla/4.0 (compatible; MSIE 5.0b1; Windows 98)