PHP利用Curl模拟登录并获取数据例子

 更新时间:2016年11月25日 15:41  点击:2169
几乎所有的程序员来模仿用户登录或抓取数据都会使用到curl函数,下面我来给各位介绍利用curl函数实现登录并抓取数据,希望下面例子对各位有帮助。

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。
代码实战

先来看登录部分的代码:

 代码如下 复制代码

//模拟登录
function login_post($url, $cookie, $post) {
    $curl = curl_init();//初始化curl模块
    curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址
    curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息
    curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中
    curl_setopt($curl, CURLOPT_POST, 1);//post方式提交
    curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息
    curl_exec($curl);//执行cURL
    curl_close($curl);//关闭cURL资源,并且释放系统资源
}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。

接下来如果登录成功后,我们要获取登录成功后的页面信息。

 代码如下 复制代码

//登录成功后获取数据
function get_content($url, $cookie) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie
    $rs = curl_exec($ch); //执行cURL抓取页面内容
    curl_close($ch);
    return $rs;
}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

/

 代码如下 复制代码
/设置post的数据
$post = array (
    'email' => 'oschina账户',
    'pwd' => 'oschina密码',
    'goto_page' => '/my',
    'error_page' => '/login',
    'save_login' => '1',
    'submit' => '现在登录'
);
 
//登录地址
$url = http://www.111cn.net;
//设置cookie保存路径
$cookie = dirname(__FILE__) . '/cookie_oschina.txt';
//登录后要获取信息的地址
$url2 = "http://m.oschina.net/my";
//模拟登录
login_post($url, $cookie, $post);
//获取登录页的信息
$content = get_content($url2, $cookie);
//删除cookie文件
@ unlink($cookie);
//匹配页面信息
$preg = "/<td class='portrait'>(.*)</td>/i";
preg_match_all($preg, $content, $arr);
$str = $arr[1][0];
//输出内容
echo $str;

运行上述代码后,我们会看到最终获取到登录用户的头像图片。

PHP利用Curl模拟登录并获取数据例子

使用总结

1、初始化curl;

2、使用curl_setopt设置目标url,和其他选项;

3、curl_exec,执行curl;

4、执行后,关闭curl;

5、输出数据。

使用array_filter函数可以过滤掉键值为空的元素,数组键名不变。如果想要过滤后的键名重新从0开始,可以使用array_values函数。
 代码如下 复制代码

<?php
$imgurl_str="||http://www.111cn.net|http://www.111cn.net|http://www.111cn.net";
$imgurl_arr = explode ( "|", $imgurl_str );
$imgurl_arr =array_filter($imgurl_arr);
print_r($imgurl_arr);
$imgurl_arr = array_values($imgurl_arr);
print_r($imgurl_arr);
/*

Array

(

    
[2] => http://www.111cn.net

    
[3] => http://www.111cn.net

    
[4] => http://www.111cn.net

)

Array

(

    
[0] => http://www.111cn.net

    
[1] => http://www.111cn.net

    
[2] => http://www.111cn.net

)

*/

?>

最近公司要做一个上传头像的功能,我们希望用户点击上传就实现了文件上传并不需要跳转页面了,下面我们就一起来看个例子吧。

可以批量进行添加上传,简单方便

 

 代码如下 复制代码

<script type="text/javascript" src="jquery-1.5.1.min.js"></script>

 

<script

    type="text/javascript" src="ajaxfileupload.js"></script>

 

<form id="upform" action="" method="post" enctype="multipart/form-data">

    <input id='fname' size='80' /><br> <input type="file" name="file1"

       id="file1" size="30" /> <input type="button" value="上传"

       onclick="return ajaxFileUpload();" /> <span id="msg"

       style="display: none">UpLoading...</span>

</form>

 

<script type="text/javascript">

var str = '';

function ajaxFileUpload(){

    $("#msg")

    .ajaxStart(function(){

       $(this).show();

    });

    /*

    .ajaxComplete(function(){

       $(this).hide();

    });

    */

    $.ajaxFileUpload(

    {

       url:'up_deal.php',

       secureuri:false,

       fileElementId:'file1',

       dataType: 'text',

       //data:{name:'qinmi', id:'123'},

       success: function(data){

              if(data=='error'){

                  $('#msg').html("<span style='color:red'>上传失败</span>");

              }else{ www.111cn.net

                  $('#msg').html("<span style='color:green'>上传成功</span>");

                  str +=  data+'@';

                  $('#fname').val(str);

              }

           }

       }

    );

    return false;

}

</script>

 up_deal.php

 代码如下 复制代码

<?php

if ((($_FILES["file1"]["type"] == "image/gif")

|| ($_FILES["file1"]["type"] == "image/jpeg")

|| ($_FILES["file1"]["type"] == "image/bmp")

|| ($_FILES["file1"]["type"] == "image/pjpeg"))

&& ($_FILES["file1"]["size"] < 100000)){//100KB

    $extend = explode(".",$_FILES["file1"]["name"]);

    $key = count($extend)-1;

    $ext = ".".$extend[$key];

    $newfile = time().$ext;

 

    if(!file_exists('upload')){mkdir('upload');}

    move_uploaded_file($_FILES["file1"]["tmp_name"],"upload/" . $newfile);

    @unlink($_FILES['file1']);

    echo $newfile;

}else {

    echo 'error';

}

?>

其中需要用到ajaxfileupload.js 这个文件,

今天在做公司的项目的时候,遇到一个问题,群聊天记录存入数据库的时候把聊天记录及央视使用16进制转换,我在做将聊天记录导出为text文本的时候,需要将聊天记录先从16进制转换为普通的Unicode编码记录

然后在从中取出所需要导出的message信息,不多说了,代码如下,以下代码属于线下的,线上的就不透漏了,算是一篇非常的简单的php教程吧:

 代码如下 复制代码

<?php
/*将16进制编码转换为汉字*/
function hexDecode($s) {
    return preg_replace('/(w{2})/e',"chr(hexdec('\1'))",$s);
}
/*汉字转换成16进制后的编码*/
$str="7B22636F6E74726F6C223A22343AE5AE8BE4
BD932C422C302C30222C22657874656E6469
6E666F223A22323031343033323731383
53335397C307C7EE4B88DE8A681E68993E985B1
E6B2B97E222C22657874656E6474
797065223A22222C2274
797065223A226E6F726D616C6D7367
222C226D7367223A2261
646720227D"; www.111cn.net
$a=hexDecode($str);//调用反转换函数转换16进制
echo $a;//输出{"control":"4:宋体,B,0,0","extendinfo":"20140327185359|0|~不要打酱油~","extendtype":"","type":"normalmsg","msg":"adg "}
$a = json_decode($a);
echo($a->msg);//取出msg字段信息
?>

在php中要生成JSON数据是非常的简单的我们只要把数组利用json_encode函数就可以转换了,但在使用过程中会碰到中文乱码或中文为null我们直接使用utf-8编码就可以解决此问题了。

折腾了好久主题

结果发现本地搭的有问题

索性不折腾了?(?^?)?

在百度贴吧里POST的时候

经常要通过JSON获取一些值

那么PHP如何实现输出JSON数据呢?

其实PHP里已经有'json_encode'函数了

 代码如下 复制代码
<?php
$array = array(
'Newest_Ver' => 'None',
'API_List' => 'http://www.111cn.net/',
'Announcement' => 'None'
);
$result = json_encode($array);
echo $result;
?>

直接使用json_encode转换出来的中文会变成NULL的,urlencode后就不存在这个问题了。

json数据为乱码

生成json字符串的时候只能使用utf-8。不过可以用下面这个函数先实现utf8数组转码然后在直接使用json_encode():

 代码如下 复制代码

function output($arr = array()) {    return eval('return ' . iconv('GB2312', 'UTF-8', var_export($arr, true)) . ';');}

[!--infotagslink--]

相关文章

  • PHP成员变量获取对比(类成员变量)

    下面本文章来给大家介绍在php中成员变量的一些对比了,文章举了四个例子在这例子中分别对不同成员变量进行测试与获取操作,下面一起来看看。 有如下4个代码示例,你认...2016-11-25
  • php 获取用户IP与IE信息程序

    php 获取用户IP与IE信息程序 function onlineip() { global $_SERVER; if(getenv('HTTP_CLIENT_IP')) { $onlineip = getenv('HTTP_CLIENT_IP');...2016-11-25
  • php获取一个文件夹的mtime的程序

    php获取一个文件夹的mtime的程序了,这个就是时间问题了,对于这个问题我们来看小编整理的几个例子,具体的操作例子如下所示。 php很容易获取到一个文件夹的mtime,可以...2016-11-25
  • 如何获取网站icon有哪些可行的方法

    获取网站icon,常用最简单的方法就是通过website/favicon.ico来获取,不过由于很多网站都是在页面里面设置favicon,所以此方法很多情况都不可用。 更好的办法是通过google提供的服务来实现:http://www.google.com/s2/favi...2014-06-07
  • php中用curl模拟登录discuz以及模拟发帖

    本文章完美的利用了php的curl功能实现模拟登录discuz以及模拟发帖,本教程供参考学习哦。 代码如下 复制代码 <?php $discuz_url = &lsquo;ht...2016-11-25
  • jquery如何获取元素的滚动条高度等实现代码

    主要功能:获取浏览器显示区域(可视区域)的高度 : $(window).height(); 获取浏览器显示区域(可视区域)的宽度 :$(window).width(); 获取页面的文档高度 $(document).height(); 获取页面的文档宽度 :$(document).width();...2015-10-21
  • jquery获取div距离窗口和父级dv的距离示例

    jquery中jquery.offset().top / left用于获取div距离窗口的距离,jquery.position().top / left 用于获取距离父级div的距离(必须是绝对定位的div)。 (1)先介绍jquery.offset().top / left css: 复制代码 代码如下: *{ mar...2013-10-13
  • Jquery 获取指定标签的对象及属性的设置与移除

    1、先讲讲JQuery的概念,JQuery首先是由一个 America 的叫什么 John Resig的人创建的,后来又很多的JS高手也加入了这个团队。其实 JQuery是一个JavaScript的类库,这个类库集合了很多功能方法,利用类库你可以用简单的一些代...2014-05-31
  • C#获取字符串后几位数的方法

    这篇文章主要介绍了C#获取字符串后几位数的方法,实例分析了C#操作字符串的技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
  • jquery获取tagName再进行判断

    如果是为了取到tagName后再进行判断,那直接用下面的代码会更方便: $(element).is('input') 如果是要取到标签用作到别的地方,可以使用一下代码: $(element)[0].tagName 或: $(element).get(0).tagName...2014-05-31
  • DOM XPATH获取img src值的query

    复制代码 代码如下:$nodes = @$xpath->query("//*[@id='main_pr']/img/@src");$prurl = $nodes->item(0)->nodeValue;...2013-10-04
  • PHP 如何获取二维数组中某个key的集合

    本文为代码分享,也是在工作中看到一些“大牛”的代码,做做分享。 具体是这样的,如下一个二维数组,是从库中读取出来的。 代码清单: 复制代码 代码如下: $user = array( 0 => array( 'id' => 1, 'name' => '张三', 'ema...2014-06-07
  • php获取汉字拼音首字母的方法

    现实中我们经常看到这样的说明,排名不分先后,按姓名首字母进行排序。这是中国人大多数使用的排序方法。那么在php程序中该如何操作呢?下面就分享一下在php程序中获取汉字拼音的首字母的方法,在网上搜到的大多数是有问题的...2015-10-23
  • 使用C#获取系统特殊文件夹路径的解决方法

    本篇文章是对使用C#获取系统特殊文件夹路径的解决方法进行了详细的分析介绍,需要的朋友参考下...2020-06-25
  • php如何获取文件的扩展名

    网上也有很多类似的方法,不过都存在这样那样的不严谨的问题,本文就不一一分析了,这里只给出最正确的利用php 获取文件扩展名(文件后缀名)的方法。 function get_extension($filename){ return pathinfo($filename,PATHIN...2015-10-30
  • node.js从数据库获取数据

    这篇文章主要为大家详细介绍了node.js从数据库获取数据的具体代码,nodejs可以获取具体某张数据表信息,感兴趣的朋友可以参考一下...2016-05-09
  • 基于JavaScript获取鼠标位置的各种方法

    这篇文章主要介绍了基于JavaScript获取鼠标位置的各种方法 ,需要的朋友可以参考下...2015-12-18
  • C#获取变更过的DataTable记录的实现方法

    这篇文章主要介绍了C#获取变更过的DataTable记录的实现方法,对初学者很有学习借鉴价值,需要的朋友可以参考下...2020-06-25
  • 如何获取百度搜索结果页中解密之后的真实链接

    大家用百度搜索的时候,可能会发现,结果链接用的还是百度的链接,点击之后才会跳转到另外一个页面,另外一个页面的真实链接如何获取到呢?? 通过分析发现: 可以看出,返回...2016-05-19
  • 用python获取txt文件中关键字的数量

    这篇文章主要介绍了如何用python获取txt文件中关键字的数量,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下...2020-12-24