php curl实现多线程抓取网页并同时下载图片

多线程是指同时处理几个数据了如我们php curl是php中唯一能实现一个简单的多线程的功能了，下面来一个利用php curl实现多线程抓取网页并同时下载图片的例子。

php语言本身不支持多线程，所以开发爬虫程序效率并不高，借助Curl Multi 它可以实现并发多线程的访问多个url地址。用 Curl Multi 多线程下载文件代码：

代码1：将获得的代码直接写入某个文件

<?php
$urls =array( 
 'http://www.111cn.net/', 
 'http://www.baidu.com/', 
);// 设置要抓取的页面URL 
    
$save_to='test.txt';  // 把抓取的代码写入该文件  
  
$st =fopen($save_to,"a"); 
$mh = curl_multi_init();  
  
foreach ($urls as $i =>$url) { 
  $conn[$i] = curl_init($url); 
  curl_setopt($conn[$i], CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
  curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
  curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
  curl_setopt($conn[$i], CURLOPT_FILE,$st);// 设置将爬取的代码写入文件 
  curl_multi_add_handle ($mh,$conn[$i]); 
}// 初始化 
    
do { 
  curl_multi_exec($mh,$active); 
}while ($active); // 执行 
    
foreach ($urls as $i =>$url) { 
  curl_multi_remove_handle($mh,$conn[$i]); 
  curl_close($conn[$i]); 
}// 结束清理 
    
curl_multi_close($mh); 
fclose($st);
?>
代码2：将获得的代码先放入变量，再写入某个文件

<?php
$urls =array( 
 'http://m.111cn.net/', 
 'http://www.111cn.net/', 
 'http://www.163.com/'
); 
  
$save_to='/test.txt';  // 把抓取的代码写入该文件 
$st =fopen($save_to,"a"); 
  
$mh = curl_multi_init(); 
foreach ($urls as $i =>$url) { 
  $conn[$i] = curl_init($url); 
  curl_setopt($conn[$i], CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
  curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
  curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
  curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 设置不将爬取代码写到浏览器，而是转化为字符串 
  curl_multi_add_handle ($mh,$conn[$i]); 
} 
  
do { 
  curl_multi_exec($mh,$active); 
}while ($active); 
    
foreach ($urls as $i =>$url) { 
  $data = curl_multi_getcontent($conn[$i]);// 获得爬取的代码字符串 
  fwrite($st,$data); // 将字符串写入文件。当然，也可以不写入文件，比如存入数据库 
}// 获得数据变量，并写入文件 
  
foreach ($urls as $i =>$url) { 
  curl_multi_remove_handle($mh,$conn[$i]); 
  curl_close($conn[$i]); 
} 
  
curl_multi_close($mh); 
fclose($st);
?>　

curl抓取网页中文乱码的解决方法

function ppost($url,$data,$ref){ // 模拟提交数据函数
$curl = curl_init(); // 启动一个CURL会话
curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在
curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
curl_setopt($curl, CURLOPT_REFERER, $ref);
curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求
curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post提交的数据包
curl_setopt($curl, CURLOPT_COOKIEFILE,$GLOBALS ['cookie_file']); // 读取上面所储存的Cookie信息
curl_setopt($curl, CURLOPT_COOKIEJAR, $GLOBALS['cookie_file']); // 存放Cookie信息的文件名称

curl_setopt($curl, CURLOPT_HTTPHEADER,array('Accept-Encoding: gzip, deflate'));
curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');这个是解释gzip内容.................
curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
$tmpInfo = curl_exec($curl); // 执行操作
if (curl_errno($curl)) {
echo 'Errno'.curl_error($curl);
}
curl_close($curl); // 关键CURL会话
return $tmpInfo; // 返回数据
}

php curl的好处可以以最快的方式并且模仿post提供我们的url地址给百度搜索引擎进行收录了，下面来看一个官方的例子吧。

百度链接提交三种方式：

1、主动推送：最为快速的提交方式，推荐您将站点当天新产出链接立即通过此方式推送给百度，以保证新链接可以及时被百度收录。

2、sitemap：您可以定期将网站链接放到sitemap中，然后将sitemap提交给百度。百度会周期性的抓取检查您提交的sitemap，对其中的链接进行处理，但收录速度慢于主动推送。

3、手工提交：一次性提交链接给百度，可以使用此种方式。

下面介绍使用curl主动推送链接的方式PHP示例，使用curl扩展：

$urls = array(
    'http://www.example.com/1.html',
    'http://www.example.com/2.html',
);
$api = 'http://data.zz.baidu.com/urls?site=www.dayecn.com&token=Db0ZoYUOwUyEp87Z';
$ch = curl_init();
$options =  array(
    CURLOPT_URL => $api,
    CURLOPT_POST => true,
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_POSTFIELDS => implode("\n", $urls),
    CURLOPT_HTTPHEADER => array('Content-Type: text/plain'),
);
curl_setopt_array($ch, $options);
$result = curl_exec($ch);
echo $result;

首先要在百度站长平台验证站点，然后获取token密钥，才有权限推送url给百度。百度站长平台：http://zhanzhang.baidu.com

可以在发布一篇文章的时候就把这篇文章的url推送给百度站长平台，或者批量推送，通过返回的$result状态判断推送是否成功，返回的状态码说明：

推送成功

状态码为200，可能返回以下字段：

字段 是否必选 参数类型 说明
success 是 int 成功推送的url条数
remain 是 int 当天剩余的可推送url条数
not_same_site 否 array 由于不是本站url而未处理的url列表
not_valid 否 array 不合法的url列表
成功返回示例：

 

{
    "remain":4999998,
    "success":2,
    "not_same_site":[],
    "not_valid":[]
}

推送失败

状态码为4xx，返回字段有：

字段 是否必传 类型 说明
error 是 int 错误码，与状态码相同
message 是 string 错误描述
失败返回示例：

 

{
    "error":401,
    "message":"token is not valid"
}

lbs功能现在被用到点击多的地方了，其实它们这个就是通过百度的地图接口来查询了，正同我们一起来看一个简单的例子。

按地区搜索：
http://api.map.baidu.com/geosearch/v3/local?region=%E5%8E%A6%E9%97%A8&ak=pWiNP7mGeptewlpldEdv3Ur3&geotable_id=*****
按位置中心点搜索（距离中心位置1800米）：
http://api.map.baidu.com/geosearch/v3/nearby?ak=pWiNP7mGeptewlpldEdv3Ur3&geotable_id=***&location=118.145572,24.49264&radius=1800

程序代码如下

首先要把数据录入到百度云数据库
用接口提交位置信息，坐标经纬度到百度lbs云数据库。
百度提供可视化的LBS云数据库管理：
http://lbsyun.baidu.com/datamanager/datamanage
已下是我写的一个提交数据接口：
这里是提交或更新一个lbs数据。
function ptolbs($data,$lbsid){ 
if($lbsid<=0){
    $purl = 'http://api.map.baidu.com/geodata/v3/poi/create';
}else{
    $data['id']=$lbsid;
    $purl = "http://api.map.baidu.com/geodata/v3/poi/update";
}
    
    $data['ak']="pWiNP7mGeptewlpldEdv3Ur3";
    $data['geotable_id']="***";//你的数据库ID   
    $data['coord_type']="3";
    $re = curlpost($purl,$data);
    $re = json_decode($re,true);
    if($re["status"]==0){
        $lbsid =$re['id'];
    }else{
        $lbsid = -1;
    }
    return  $lbsid;
}
 
 
function curlpost($c_url,$data)
{
    $curl = curl_init(); // 启动一个CURL会话
    curl_setopt($curl, CURLOPT_URL, $c_url); // 要访问的地址
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在
    curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); // 模拟用户使用的浏览器
   // curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
    curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer
    curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求
    curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post提交的数据包
    curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
    curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
    $tmpInfo = curl_exec($curl); // 执行操作
    if (curl_errno($curl)) {
       echo 'Errno'.curl_error($curl);//捕抓异常
    }
    curl_close($curl); // 关闭CURL会话
    return $tmpInfo; // 返回数据
}

原理很简单就是通过我们申请的key 带在curl中post给百度api，然后百度返回查询对应的坐标与数据给我们。

CORS实现POST方式跨域请求数据以前利用iframe时有用到过了，这里再整一个例子供各位参考，此例子是用于js的ajax中哦。

CORS全名Cross-Origin Resource Sharing，顾名思义：跨域分享资源，这是W3C制定的跨站资源分享标准。

目前包括IE10+、chrome、safari、FF都提供了XMLHttpRequest对象对该标准的支持，在更老的IE8中则提供了xDomainRequest对象，部分实现了该标准；

下面是创建request对象的代码：

var url = "http://www.111cn.net /1.php";

if (XMLHttpRequest) {
    var req = new XMLHttpRequest();
    // 利用withCredentials属性来判断是否支持跨域请求
    if (!("withCredentials" in req)) { // w3c先行
        if (window.XDomainRequest) {
            req = new XDomainRequest();
        }
    }
    req.open('POST', url, true);
    req.onload = function (data) {
        alert(this.responseText);
    };
    req.send();
}

注意xDomainRequest对象只支持http和https协议

在利用XMLHttpRequest对象发POST请求前会发一个options嗅探来确定是否有跨域请求的权限；同时在header头上带上Origin信息来指示来源网站信息，服务器响应时需要带上Access-Control-Allow-Origin头的值是否和Origin信息相匹配。

header("Access-Control-Allow-Origin: http://localhost"); // *为全部域名

CORS的缺点是你必须能控制服务器端的权限，允许你跨域访问

设置CORS实现跨域请求

一、使用php代码实现

#
# CORS config for php
# Code by anrip[mail@anrip.com]
#
 
function make_cors($origin = '*') {
 
    $request_method = $_SERVER['REQUEST_METHOD'];
 
    if ($request_method === 'OPTIONS') {
 
        header('Access-Control-Allow-Origin:'.$origin);
        header('Access-Control-Allow-Credentials:true');
        header('Access-Control-Allow-Methods:GET, POST, OPTIONS');
 
        header('Access-Control-Max-Age:1728000');
        header('Content-Type:text/plain charset=UTF-8');
        header('Content-Length: 0',true);
 
        header('status: 204');
        header('HTTP/1.0 204 No Content');
 
    }
 
    if ($request_method === 'POST') {
 
        header('Access-Control-Allow-Origin:'.$origin);
        header('Access-Control-Allow-Credentials:true');
        header('Access-Control-Allow-Methods:GET, POST, OPTIONS');
 
    }
 
    if ($request_method === 'GET') {
 
        header('Access-Control-Allow-Origin:'.$origin);
        header('Access-Control-Allow-Credentials:true');
        header('Access-Control-Allow-Methods:GET, POST, OPTIONS');
 
    }
 
}

二、使用nginx配置实现

# CORS config for nginx
# Code by anrip[mail@anrip.com]
#
 
location / {
 
    set $origin '*';
 
    if ($request_method = 'OPTIONS') {
 
        add_header 'Access-Control-Allow-Origin' $origin;
 
        #
        # Om nom nom cookies
        #
        add_header 'Access-Control-Allow-Credentials' 'true';
        add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
 
        #
        # Custom headers and headers various browsers *should* be OK with but aren't
        #
        add_header 'Access-Control-Allow-Headers' 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type';
 
        #
        # Tell client that this pre-flight info is valid for 20 days
        #
        add_header 'Access-Control-Max-Age' 1728000;
        add_header 'Content-Type' 'text/plain charset=UTF-8';
        add_header 'Content-Length' 0;
 
        return 204;
 
    }
 
    if ($request_method = 'POST') {
 
        add_header 'Access-Control-Allow-Origin' $origin;
        add_header 'Access-Control-Allow-Credentials' 'true';
        add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
        add_header 'Access-Control-Allow-Headers' 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type';
 
    }
 
    if ($request_method = 'GET') {
 
        add_header 'Access-Control-Allow-Origin' $origin;
        add_header 'Access-Control-Allow-Credentials' 'true';
        add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
        add_header 'Access-Control-Allow-Headers' 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type';
 
    }
 
}

微信红包的原因就是通过指定的标识获得商户的信息然后进行发红包了，这个功能不简单并且要申请与验证和操作都非常的麻烦了，下面来看看微信红包api接口开发例子。

人工手动发放

商户在已经获知要发送的用户的openid情况下，可以将openid编辑成txt文件，直接登录微信支付商户平台，同样在“资金管理-现金管理”中充值后，创建要发放的红包，并填写金额等相关信息，再根据指引操作即可。

系统自动发放

商户需先发送邮件至wxhongbao@tencent.com获取流程指引，再登录商户平台（pay.weixin.qq.com ），在“资金管理-现金管理”中充值；然后即可自行根据开发文档进行开发，并发放现金红包,我们重点讲系统发布。

首先，商户调用微信红包接口时，服务器会进行证书验证，所以要在商户平台下载证书。在管理后台的“账户信息”里找到“安全设置”就可以下载了证书了。