您的位置：首页 > 编程技术 > php  >  php利用fopen实现简单的网页采集程序

php利用fopen实现简单的网页采集程序

 更新时间：2016年11月25日 17:24  点击：1744
这个采集程序是一个非常简单的程序了，个人认为不适合于大量数据采集了单页还是没有问题了，因为fopen函数对于远程文件操作与多线程时是非常的不理想的，这个只是一个作者写的觉得好玩合出来了。
 代码如下 复制代码


/**
* 根据URL采集网页内容
*
* @param string $url 链接地址
* @return string
*/

private function fetchbyurl($url){
$handle = fopen($url, ‘r’);
$content = ”;
while (!feof($handle)){
$content .= fgets($handle, 10000);
}
return $content;
//?$this->utf8_iconv($content):”;
}

/*获取所有匹配的内容
* @param string $str 内容
* @param string $start 起始匹配
* @param string $end 中止匹配
* @return array
*/

private function utf8_iconv($content){
return iconv(‘GBK’, ‘UTF-8′, $content);
}
private function strCutAll($str,$start,$end){
$content = explode($start,$str);
$matchs = array();
$sum = count($content);
for( $i = 1;$i < $sum;$i++ ){
$tmp = explode($end,$content[$i]);
$matchs[] = $tmp[0];
unset($tmp);
}
return $matchs;
}

/*获取第一个匹配的内容
* @param string $str 内容
* @param string $start 起始匹配
* @param string $end 中止匹配
* @return string
*/
private function strCut($str, $start, $end){
$content = strstr( $str, $start );
$content = substr( $content, strlen( $start ), strpos( $content, $end ) - strlen( $start ) );
return $content;
}

测试：

/*采集程序*/header("content-Type: text/html; charset=utf-8"); //$nr = file_get_contents(‘/webback/php/php-yi-ju-hua-hou-men-zhuan’); $nr = $this->fetchbyurl(‘/webback/php/php-yi-ju-hua-hou-men-zhuan’);//推荐，还可以用curl dump($this->strCut($nr,’<div class="context">’,'<div class="betterrelated">’));//得到内容。需要进一步过滤用（preg_match_all） dump($this->strCutAll($nr,’<title>’,'</title>’)); 得到标题
最近比较晕了，博客经常给朋友f5不停的刷新了，这个让一个空间根据搞不定呀，后来网上整理了一些防止刷新的代码才得己解决，下面来看到整理的代码吧，希望这些例子对你有帮助。

搬家到阿里云的头两天  头痛了。。。主机配置低，尼玛的wp的需求高。。。

F5几下就刷死了 你让俺情何以堪 以前用过的主机配置哪有这么逊的...

o(︶︿︶)o 唉  就不吐槽阿里云了 说不定当你看到这里的时候 这个站还在阿里云这蹲着呢！

下面附上一段代码

防止频繁的刷新导致数据库吃紧....

方式NO.1

---------------------------------------

 代码如下 复制代码

<?php     
session_start();     
$k=$_GET['k'];     
$t=$_GET['t'];     
$allowTime = 1800;//防刷新时间     
$ip = get_client_ip();     
$allowT = md5($ip.$k.$t);     
if(!isset($_SESSION[$allowT]))     
{     
    $refresh = true;     
    $_SESSION[$allowT] = time();     
}elseif(time() - $_SESSION[$allowT]>$allowTime){     
    $refresh = true;     
    $_SESSION[$allowT] = time();     
}else{     
    $refresh = false;     
}     
?>


---------------------------------------
方式NO.2

---------------------------------------

 代码如下 复制代码

<?php
//Changed by www.111cn.net
session_start();
$allow_sep = "2";
if (isset($_SESSION["post_sep"]))
{
if (time() - $_SESSION["post_sep"] < $allow_sep)
{
exit("请不要频繁刷新，休息2秒再刷新吧");
}
else
{
$_SESSION["post_sep"] = time();
}
}
else
{
$_SESSION["post_sep"] = time();
}
?>


---------------------------------------
方式NO.3

---------------------------------------

 代码如下 复制代码
<?
session_start();
if(!empty($_POST[name])){
   $data = $_POST[name];
   $tag = $_POST[tag];
   if($_SESSION[status]==$tag){
     echo $data;
   }else{
     echo "不允许刷新！";
   }
}
$v = mt_rand(1,10000);
?>
<form method="post" name="magic" action="f5.php"><input type="hidden"
name="tag" value="<?=$v?>"><input type=text name="name"><input type="submit" value="submit">
</form>
<?
echo $v;
$_SESSION[status] = $v;
?>


---------------------------------------

有何妙用？？你猜呢 呵呵 有用到的拿去吧

注意！~~~~~~~~~~~~~~~~~~~~~~~

代码有了，不过要应用到WordPress还要一些其他操作。

因为上面的代码是基于 session的验证，假设你在2秒内刷新了页面，那么他会执行exit() 函数输出一条消息，并退出当前脚本。于是就不会加载下面的内容，所以这段代码最好放在header中，先让代码执行，再加载其他的东西。

如果把代码放在了footer里，结果整个页面都加载了只在最后一行输出了“请不要频繁刷新”，放在header中，效果比较好，想看效果的话按两下F5 吧。

当然最好的是采用的是新建一个php文件，然后在header调用。

这样做的好处有两个：

一个是修改功能代码方便，不用每次都打开header文件，也不怕误改了其他地方的代码，

二是一旦出错，可以快速修改并检查，甚至可以直接删除文件。

 代码如下 复制代码


<?php include(‘includes/forbiddenCC.php’); ?> 
    <!DOCTYPE html PUBLIC “-//W3C//DTD XHTML 1.0 Transitional//EN” “http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd”>


这里呢要注意下
必须调用在所有页面的最前面！！！

原文来自:http://www.qinghuo.net/network/2981.html

 

由于将公众平台的粉丝数据进行对应的时候会存在openid和fakeid对应错的问题，所以需要及时清理数据库中抓取错误的数据。上边的sql中删除一个公众帐号中fakeid出现两次的数据，下次用户在进行互动的时候在进行抓取

下面我给各位同学写了一条删除错误数据的sql希望对各位有帮助。

 代码如下 复制代码

SELECT *
FROM enet_wechatfans
WHERE fakeid
IN (
SELECT fakeid
FROM (
SELECT COUNT( * ) c, id, fakeid
FROM  `enet_wechatfans`
WHERE weid =135
GROUP BY fakeid
HAVING c >1
) AS tmp
) AND weid = 135
微信是一个天生的CRM系统，但是他缺少了在线客服功能，虽然官方提供了客服接口，但是很多人还没有明白太是用来做什么的。最近由于公司的需要做了一套在线客服，这样就可以打通了和用户沟通的瓶颈了，这样可以让我们和粉丝更好的进行沟通。

其实微信你完全可以想想成一个类似于QQ在线聊天工具，这样是我们要做的重点，将微信做成一个类似于QQ的IM，当然这些功能实现是任何公众号都可以的。不需要你有高级接口，只需要你是一个公众号即可

1、当公众平台收到消息时最近用户列表会自动闪烁，并将用户放在第一个

2、直接在该页面可以和用户直接进行即时聊天，让微信成为客服系统，让微信成为你的销售利器
3、可以和你公众号里的每一个用户及时沟通，右侧的用户列表可以显示你所有的粉丝
4、说白了和你的QQ聊天是一样。
5、干技术的不懂的销售，能说的就这么多。

 

微信在线客服系统-微信公众平台开发

今天把网站换了台服务器结果发现UCenter打开时提示UCenter info: Can not connect to MySQL server 了，但通信是没有问题，只是注册时提示错误，这个不用说就是数据库配置文章的问题，

修改下Discuz的配置文件罗。找到
安装目录/config/config_global.php 及 安装目录/uc_server/data/config.inc.php修改。
OK，没有出现错误了，但是不管是点击注册，还是登录，都会出现“内部错误，无法显示此内容”，然后再点击这个错误提示，又出现上面的“UCenter info:Can not connect to MySQL server。不能连接数据库了。
蛮奇怪，但是通过http://localhost/bbs/uc_server/登录UCenter是没问题的，看到应用设置里面也是显示通信成功的，我下载数据之后也进入这里修改了域名绑定的了。


主要错误：

UCenter info: Can not connect to MySQL server
Error:
Errno:0

需要修改的文件是以下三个：
安装目录/config/config_global.php        
安装目录/config/config_ucenter.php   
安装目录/uc_server/data/config.inc.php 

具体怎么改我给个例子

 代码如下 复制代码

config_global


// ------------------  CONFIG DB  ------------------- //
$_config['db']['1']['dbhost'] = 'localhost';
$_config['db']['1']['dbuser'] = 'a064322111';
$_config['db']['1']['dbpw'] = 321423432;
$_config['db']['1']['dbcharset'] = 'utf8';
$_config['db']['1']['pconnect'] = '0';
$_config['db']['1']['dbname'] = 'a064322111';
$_config['db']['1']['tablepre'] = 'pre_';


config_ucenter

 代码如下 复制代码

<?php


define('UC_CONNECT', 'mysql');

define('UC_DBHOST', 'localhost');
define('UC_DBUSER', 'a064322111');
define('UC_DBPW', '321423432');
define('UC_DBNAME', 'a064322111');
define('UC_DBCHARSET', 'utf8');
define('UC_DBTABLEPRE', '`a064322111`.pre_ucenter_');
define('UC_DBCONNECT', 0);

define('UC_CHARSET', 'utf-8');
define('UC_KEY', 'VdMcG6D4Pdx1S1H2Acfab6o3j4t5x5xfV7vaTbg5I17dE1Y3k0ueh6EaQ3b8EaBb');
define('UC_API', 'http://www.111cn.net / uc_server');
define('UC_APPID', '1');
define('UC_IP', '127.0.0.1');
define('UC_PPP', 20);
?>

config.inc

 代码如下 复制代码

<?php
define('UC_DBHOST', 'localhost');
define('UC_DBUSER', 'a064322111');
define('UC_DBPW', '321423432');
define('UC_DBNAME', 'a064322111');
define('UC_DBCHARSET', 'utf8');
define('UC_DBTABLEPRE', 'pre_ucenter_');
define('UC_COOKIEPATH', '/');
define('UC_COOKIEDOMAIN', '');
define('UC_DBCONNECT', 0);
define('UC_CHARSET', 'utf-8');
[!--infotagslink--]

相关文章

  • C#开发Windows窗体应用程序的简单操作步骤

    这篇文章主要介绍了C#开发Windows窗体应用程序的简单操作步骤，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-12

  • php语言实现redis的客户端

    php语言实现redis的客户端与服务端有一些区别了因为前面介绍过服务端了这里我们来介绍客户端吧，希望文章对各位有帮助。 为了更好的了解redis协议，我们用php来实现...2016-11-25

  • C++调用C#的DLL程序实现方法

    本文通过例子，讲述了C++调用C#的DLL程序的方法，作出了以下总结，下面就让我们一起来学习吧。...2020-06-25

  • jQuery+jRange实现滑动选取数值范围特效

    有时我们在页面上需要选择数值范围，如购物时选取价格区间，购买主机时自主选取CPU，内存大小配置等，使用直观的滑块条直接选取想要的数值大小即可，无需手动输入数值，操作简单又方便。HTML首先载入jQuery库文件以及jRange相关...2015-03-15

  • C#使用Process类调用外部exe程序

    本文通过两个示例讲解了一下Process类调用外部应用程序的基本用法，并简单讲解了StartInfo属性，有需要的朋友可以参考一下。...2020-06-25

  • 微信小程序 页面传值详解

    这篇文章主要介绍了微信小程序 页面传值详解的相关资料,需要的朋友可以参考下...2017-03-13

  • JS实现的简洁纵向滑动菜单(滑动门)效果

    本文实例讲述了JS实现的简洁纵向滑动菜单(滑动门)效果。分享给大家供大家参考，具体如下：这是一款纵向布局的CSS+JavaScript滑动门代码，相当简洁的手法来实现，如果对颜色不满意，你可以试着自己修改CSS代码，这个滑动门将每一...2015-10-21

  • 使用GruntJS构建Web程序之构建篇

    大概有如下步骤 新建项目Bejs 新建文件package.json 新建文件Gruntfile.js 命令行执行grunt任务 一、新建项目Bejs源码放在src下，该目录有两个js文件，selector.js和ajax.js。编译后代码放在dest，这个grunt会...2014-06-07

  • jQuery+slidereveal实现的面板滑动侧边展出效果

    我们借助一款jQuery插件：slidereveal.js，可以使用它控制面板左右侧滑出与隐藏等效果，项目地址：https://github.com/nnattawat/slideReveal。如何使用首先在页面中加载jquery库文件和slidereveal.js插件。复制代码 代码如...2015-03-15

  • uniapp微信小程序:key失效的解决方法

    这篇文章主要介绍了uniapp微信小程序:key失效的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-01-20

  • PHP+jQuery翻板抽奖功能实现

    翻板抽奖的实现流程：前端页面提供6个方块，用数字1-6依次表示6个不同的方块，当抽奖者点击6个方块中的某一块时，方块翻转到背面，显示抽奖中奖信息。看似简单的一个操作过程，却包含着WEB技术的很多知识面，所以本文的读者应该熟...2015-10-21

  • SQLMAP结合Meterpreter实现注入渗透返回shell

    sqlmap 是一个自动SQL 射入工具。它是可胜任执行一个广泛的数据库管理系统后端指印, 检索遥远的DBMS 数据库等，下面我们来看一个学习例子。 自己搭建一个PHP+MYSQ...2016-11-25

  • PHP常用的小程序代码段

    本文实例讲述了PHP常用的小程序代码段。分享给大家供大家参考，具体如下：1.计算两个时间的相差几天$startdate=strtotime("2009-12-09");$enddate=strtotime("2009-12-05");上面的php时间日期函数strtotime已经把字符串...2015-11-24

  • 将c#编写的程序打包成应用程序的实现步骤分享(安装,卸载) 图文

    时常会写用c#一些程序，但如何将他们和photoshop一样的大型软件打成一个压缩包，以便于发布....2020-06-25

  • 微信小程序 网络请求(GET请求)详解

    这篇文章主要介绍了微信小程序 网络请求(GET请求)详解的相关资料,需要的朋友可以参考下...2016-11-22

  • 微信小程序如何获取图片宽度与高度

    这篇文章主要给大家介绍了关于微信小程序如何获取图片宽度与高度的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-10

  • 微信小程序自定义tabbar组件

    这篇文章主要为大家详细介绍了微信小程序自定义tabbar组件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-03-14

  • PHP实现今天是星期几的几种写法

    复制代码 代码如下: // 第一种写法 $da = date("w"); if( $da == "1" ){ echo "今天是星期一"; }else if( $da == "2" ){ echo "今天是星期二"; }else if( $da == "3" ){ echo "今天是星期三"; }else if( $da == "4"...2013-10-04

  • 微信小程序二维码生成工具 weapp-qrcode详解

    这篇文章主要介绍了微信小程序 二维码生成工具 weapp-qrcode详解,教大家如何在项目中引入weapp-qrcode.js文件，通过实例代码给大家介绍的非常详细，需要的朋友可以参考下...2021-10-23

  • Python爬取微信小程序通用方法代码实例详解

    这篇文章主要介绍了Python爬取微信小程序通用方法代码实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-09-29