php中采集抓取页面函数详解

 更新时间:2016年11月25日 16:36  点击:1468
在php中提供了大量的获取远程服务器文件的函数,包括有:file()函数、file_get_contents()函数、fopen()->fread()->fclose()模式、curl方式、fsockopen()函数、socket模式等等,下面我来分别来介绍介绍。

1. file()函数

file() 函数把整个文件读入一个数组中。

与 file_get_contents() 类似,不同的是 file() 将文件作为一个数组返回。数组中的每个单元都是文件中相应的一行,包括换行符在内。

如果失败,则返回 false。

 代码如下 复制代码


<?php
$url='http://www.111cn.net';
$lines_array=file($url);
$lines_string=implode('',$lines_array);
echo htmlspecialchars($lines_string);

?>

2. file_get_contents()函数


file_get_contents() 函数把整个文件读入一个字符串中。

和 file() 一样,不同的是 file_get_contents() 把文件读入一个字符串。

file_get_contents() 函数是用于将文件的内容读入到一个字符串中的首选方法。如果操作系统支持,还会使用内存映射技术来增强性能。

 

 代码如下 复制代码

<?php
$url='http://www.111cn.net';
$lines_string=file_get_contents($url);
echo htmlspecialchars($lines_string);

?>

使用file_get_contents和fopen必须空间开启allow_url_fopen。方法:编辑php.ini,设置 allow_url_fopen = On,allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。

3. fopen()->fread()->fclose()模式

 代码如下 复制代码

<?php
$url='http://www.111cn.net';
$handle=fopen($url,"rb");
$lines_string="";
do{
    $data=fread($handle,1024);
     if(strlen($data)==0) {
        break;
    }
    $lines_string.=$data;
}while(true);
fclose($handle);
echo htmlspecialchars($lines_string);

4. curl方式

使用curl必须空间开启curl。方法:windows下修改php.ini,将extension=php_curl.dll前面的分号去掉,而且需 要拷贝ssleay32.dll和libeay32.dll到C:WINDOWSsystem32下;Linux下要安装curl扩展。

 代码如下 复制代码

<?php
$url='http://www.111cn.net';
$ch=curl_init();
$timeout=5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$lines_string=curl_exec($ch);
curl_close($ch);
echo htmlspecialchars($lines_string);


5. fsockopen()函数 socket模式
socket模式能否正确执行,也跟服务器的设置有关系,具体可以通过phpinfo查看服务器开启了哪些通信协议,比如我的本地php socket没开启http,只能使用udp测试一下了。

还有一个以curl_开头的函数,可以实现很多功能。有时间要好好研究!下面是关于fscokopen的介绍


1.PHP fsockopen函数说明:

Open Internet or Unix domain socket connection(打开套接字链接)

Initiates a socket connection to the resource specified by target .

fsockopen() returns a file pointer which may be used together with the other file functions (such as fgets() , fgetss() , fwrite() , fclose() , and feof() ).就是返回一个文件句柄

开启PHP fsockopen这个函数

PHP fsockopen需要 PHP.ini 中 allow_url_fopen 选项开启。

 代码如下 复制代码

<?php
set_time_limit(0);
$fp = fsockopen("www.111cn.net", 80, $errno, $errstr, 30);
if (!$fp) {
   echo "$errstr ($errno)<br />n";
} else {
   $out = "POST / HTTP/1.1rn";
   $out .= "Host: www.111cn.netrn";
   $out .= "Connection: Closernrn";
   fwrite($fp, $out);
   while (!feof($fp)) {
       echo fgets($fp, 128);
   }
   fclose($fp);
}

在php中连接数据有mysql_connect() 函数或mysql_pconnect()函数来完成,下面我给大家php入门者简单介绍介绍。

常用连接函数mysql_connect()

mysql_connect(servername,username,password);

长连接函数mysql_pconnect()

mysql_pconnect(servername,username,password);

 代码如下 复制代码

<?php
$con = mysql_connect("localhost","peter","abc123");
if (!$con)
 {
 die('Could not connect: ' . mysql_error());
 }
// some code
?>


说的是mysql_pconnect,怎么能绕开MySQL的设置。影响mysql_pconnect最重要的两个参数就是wait_timeout和interactive_timeout

 代码如下 复制代码

<?php
    $conn = mysql_pconnect("localhost","root","123456") or die("Can not connect to MySQL");
    echo "MySQL线程号:". MySQL_thread_id($conn). "<br />";
    echo "Apache进程号". getmypid();
?>

本文章来给大家介绍php ajax实输入自动搜索匹配程序代码,希望此款程序对大家所有帮助了,第一种方法利用了jquery autocomplete,第二种使用了jquery ajax,其实两个都差不多。

最简单的办法我们就是直接使用jquery autocomplete方法了,如下在实例

html中

 代码如下 复制代码

<script src="/js/v2/jquery.input_complete.js" type="text/javascript" ></script>
<link rel="stylesheet" href="/css/v2/jquery.input_complete.css" type="text/css" />

<script type="text/javascript">
  $(function(){
   $("#abcc").bigAutocomplete({width:176,data:[{title:"九龙仓世纪华府",result:"5976898"},{title:"九龙仓君玺",result:"5976896"},{title:"舟山朱家尖东沙度假村",result:"5976895"},{title:"广厦天都城爵士花园",result:"5976893"},{title:"绿城玉园",result:"5976892"},{title:"江南铭楼",result:"5976890"},{title:"世茂江滨花园",result:"14869"}],callback:function(data){
    $("#s_loupan").val(data.result);
    
   }});   
  
  })
</script>

<input type="text" id="abcc" class="sel_quy" autocomplete="off" />

本文目的是让 某个标题 带有 The 的不按字母t首字母搜索,而是按照第二个文字的首字母搜索。

比如 The Orbolg, 按T的时候不显示,按O的时候才显示。

下面是实现代码。我自己都晕晕的。测试是没有问题。

 代码如下 复制代码

public function gwquery(){
    if($_POST){
    $zm = $_POST['data'];
    $wzm = $zm."%";
    $b = M('Wpindexgw');
    if($zm!="t"){//获取的首字母不是t的时候
    $list1 = $b->where("gwstatus=1 and gwname like '%$zm%'")->order("time desc")->select();//查询
    $narr =array();
    foreach( $list1 as $key => $val){        
        $ct2 = explode(" ",$val['gwname']);//获取标题拆分成数组。
         $szm=strtolower(substr($ct2[1],0,1));  //获取首字母 并且小写
        if($ct2[0]=="The" && $szm==$zm){//如果第一个字符是The 并且第二个字母首字母和提交的相同,这里The 区分大小写。
        $narr[] = $val; //写入数组
        }   
    }
    }else{      //处理首字母是T的时候    ,不希望第一个字数The 的显示在列表里。
        $list1 = $b->where("gwstatus=1 and gwname like '$wzm'")->order("time desc")->select();
    foreach( $list1 as $key => $val){        
        $ct2 = explode(" ",$val['gwname']);
        if($ct2[0]=="The"){
        $unnarr[] = $key;//获取符合条件的,要去掉的内容的数组标号。     
        }
         
    }   
             
}
    $list = $b->where("gwstatus=1 and gwname like '$wzm'")->order("time desc")->select();//正常的查询。
    if($zm=="t"){//处理当首字母是t的时候 ,去掉上面查询得到的内容,也就是如果是The的时候 按T 不显示。
    foreach($unnarr as $uval){
        unset($list[$uval]);
    }           
    }else{//按下的不是t的时候,要把第二个首字母符合的内容添加到正常查询的数组中。
    if(!empty($narr) && !empty($list)){//带The 的符合条件正常 本身也不空的时候。
    $list = array_merge($narr,$list);//合并数组。
    }else if(empty($list)){//正常查询为空。则看是否有带The开头的,有则合并
    $list=array();
    $list = array_merge($narr,$list);   
    }
    }
    if($list){
    $this->ajaxReturn($list,'success',1);
    }else{
        $this->error("Bestiary not found.");
        }
    }
     
}

相比之前的代码:相差太多

 代码如下 复制代码

public function gwquery1(){//之前备份。。
    if($_POST){
    $zm = $_POST['data'];
    $wzm = $zm."%";
    $b = M('Wpindexgw');
    $list = $b->where("gwstatus=1 and gwname like '$wzm'")->order("time desc")->select();
    //dump($list);
    if($list){
    $this->ajaxReturn($list,'success',1);
    }else{
        $this->error("Bestiary not found.");
        }
    }
     
}

php虽然己经做到很好很快了,但是如果大数据量时还是会有些卡了,下面我来给大家介绍PHP中使用memcache缓存技术提高响应速度方法,有需要了解的朋友可参考。

memcache既可以在linux下使用,也可以在windows系统下使用,当然首推linux系统。

至于如何安装memcache,google一下就什么都出来了。

下面贴一段memcache的使用例子:

 代码如下 复制代码

<?php
//连接
$mem = new Memcache;
$mem->connect("127.0.0.1", 11211) or die ("Could not connect");

//显示版本
$version = $mem->getVersion();
echo "Memcached Server version:  ".$version."<br>";

//保存数据
$mem->set('key1', 'This is first value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val ."<br>";

//替换数据
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";

//保存数组
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";

//删除数据
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";

//清除所有数据
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";

//关闭连接
$mem->close();
?>

例子2:

 代码如下 复制代码

<?php
//使用memcache缓存
$mc = memcache_connect('localhost', 11211);
$pn = $mc->get('pid');
echo $pn;

if($pn<1) $pn = 1;
else $pn++;

$mc->set('pid',$pn,0,0); //设置永不过期
memcache_close($mc);
?>

有时写程序时后台要求把大量数据导入数据库中,比如计算机考试成绩的查询、电话簿的数据等一般都是存放在excel中的,这时我们可把数据导出成csv文件,然后通过以下程序即可在后台批量导入数据到数据库中。

下面只是主要程序部分:

 代码如下 复制代码

<?php
/*****************************************
**********作者:冲星/arcow****************
**********njj@nuc.edu.cn*******************
**********php导入csv文件到数据库**********
**********同时计算程序执行时间***********
**********www.111cn.net***********
****************************************/
//定义获取时间函数
function getmicrotime(){
    list($usec, $sec) = explode(" ",microtime());
    return ((float)$usec + (float)$sec);
}
?>

<?php
$time_start = getmicrotime();
include("db.inc.php");//连接数据库
$db=new testcsv;
?>


<?php
$handle = fopen ("test.csv","r");
$sql="insert into scores(idcard,names,num,sex,nation,score) values('";
while ($data = fgetcsv ($handle, 1000, ",")) {
   $num = count ($data);
   for ($c=0; $c < $num; $c++) {
       if($c==$num-1){$sql=$sql.$data[$c]."')";break;}
       $sql=$sql.$data[$c]."','";
   }
print "<br>";
echo $sql."<br>";
$db->query($sql);
echo "SQL语句执行成功!<br>";
$sql="insert into scores(idcard,names,num,sex,nation,score) values('";
}
fclose ($handle);
$time_end = getmicrotime();
$time = $time_end - $time_start;
echo "程序执行时间:".$time."秒";
?>

[!--infotagslink--]

相关文章

  • php正确禁用eval函数与误区介绍

    eval函数在php中是一个函数并不是系统组件函数,我们在php.ini中的disable_functions是无法禁止它的,因这他不是一个php_function哦。 eval()针对php安全来说具有很...2016-11-25
  • php中eval()函数操作数组的方法

    在php中eval是一个函数并且不能直接禁用了,但eval函数又相当的危险了经常会出现一些问题了,今天我们就一起来看看eval函数对数组的操作 例子, <?php $data="array...2016-11-25
  • Python astype(np.float)函数使用方法解析

    这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08
  • Python中的imread()函数用法说明

    这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
  • C# 中如何取绝对值函数

    本文主要介绍了C# 中取绝对值的函数。具有很好的参考价值。下面跟着小编一起来看下吧...2020-06-25
  • C#学习笔记- 随机函数Random()的用法详解

    下面小编就为大家带来一篇C#学习笔记- 随机函数Random()的用法详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2020-06-25
  • 金额阿拉伯数字转换为中文的自定义函数

    CREATE FUNCTION ChangeBigSmall (@ChangeMoney money) RETURNS VarChar(100) AS BEGIN Declare @String1 char(20) Declare @String2 char...2016-11-25
  • Android开发中findViewById()函数用法与简化

    findViewById方法在android开发中是获取页面控件的值了,有没有发现我们一个页面控件多了会反复研究写findViewById呢,下面我们一起来看它的简化方法。 Android中Fin...2016-09-20
  • C++中 Sort函数详细解析

    这篇文章主要介绍了C++中Sort函数详细解析,sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变...2022-08-18
  • PHP用strstr()函数阻止垃圾评论(通过判断a标记)

    strstr() 函数搜索一个字符串在另一个字符串中的第一次出现。该函数返回字符串的其余部分(从匹配点)。如果未找到所搜索的字符串,则返回 false。语法:strstr(string,search)参数string,必需。规定被搜索的字符串。 参数sea...2013-10-04
  • PHP函数分享之curl方式取得数据、模拟登陆、POST数据

    废话不多说直接上代码复制代码 代码如下:/********************** curl 系列 ***********************///直接通过curl方式取得数据(包含POST、HEADER等)/* * $url: 如果非数组,则为http;如是数组,则为https * $header:...2014-06-07
  • php中的foreach函数的2种用法

    Foreach 函数(PHP4/PHP5)foreach 语法结构提供了遍历数组的简单方式。foreach 仅能够应用于数组和对象,如果尝试应用于其他数据类型的变量,或者未初始化的变量将发出错误信息。...2013-09-28
  • C语言中free函数的使用详解

    free函数是释放之前某一次malloc函数申请的空间,而且只是释放空间,并不改变指针的值。下面我们就来详细探讨下...2020-04-25
  • PHP函数strip_tags的一个bug浅析

    PHP 函数 strip_tags 提供了从字符串中去除 HTML 和 PHP 标记的功能,该函数尝试返回给定的字符串 str 去除空字符、HTML 和 PHP 标记后的结果。由于 strip_tags() 无法实际验证 HTML,不完整或者破损标签将导致更多的数...2014-05-31
  • SQL Server中row_number函数的常见用法示例详解

    这篇文章主要给大家介绍了关于SQL Server中row_number函数的常见用法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-12-08
  • PHP加密解密函数详解

    分享一个PHP加密解密的函数,此函数实现了对部分变量值的加密的功能。 加密代码如下: /* *功能:对字符串进行加密处理 *参数一:需要加密的内容 *参数二:密钥 */ function passport_encrypt($str,$key){ //加密函数 srand(...2015-10-30
  • php的mail函数发送UTF-8编码中文邮件时标题乱码的解决办法

    最近遇到一个问题,就是在使用php的mail函数发送utf-8编码的中文邮件时标题出现乱码现象,而邮件正文却是正确的。最初以为是页面编码的问题,发现页面编码utf-8没有问题啊,找了半天原因,最后找到了问题所在。 1.使用 PEAR 的...2015-10-21
  • C#中加载dll并调用其函数的实现方法

    下面小编就为大家带来一篇C#中加载dll并调用其函数的实现方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2020-06-25
  • C#虚函数用法实例分析

    这篇文章主要介绍了C#虚函数用法,实例分析了C#中虚函数的功能与基本使用技巧,需要的朋友可以参考下...2020-06-25
  • PHP编码转换函数mb_convert_encoding与iconv用法

    文章来实现一个PHP编码转换函数mb_convert_encoding与iconv用法,希望例子能帮助到各位。 将一个短信接口代码从apache迁移到nginx+php-fpm后,发现无法发出短信了,查...2016-11-25