PHP获取指定URL页面中的所有链接例子

这个东西其实我们开发人员来讲常用了，以前做一个抓取其它网站友情连接时用过，今天看到一朋友整理了一个PHP获取指定URL页面中的所有链接函数，整理过来我们一起来看看吧。

以下代码可以获取到指定URL页面中的所有链接，即所有a标签的href属性：

// 获取链接的HTML代码
$html = file_get_contents('http://www.111cn.net');

$dom = new DOMDocument();
@$dom->loadHTML($html);

$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate('/html/body//a');

for ($i = 0; $i < $hrefs->length; $i++) {
   $href = $hrefs->item($i);
   $url = $href->getAttribute('href');
   echo $url.'<br />';
}

这段代码会获取到所有a标签的href属性，但是href属性值不一定是链接，我们可以在做个过滤，只保留http开头的链接地址：

// 获取链接的HTML代码
$html = file_get_contents('http://www.111cn.net');

$dom = new DOMDocument();
@$dom->loadHTML($html);

$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate('/html/body//a');

for ($i = 0; $i < $hrefs->length; $i++) {
   $href = $hrefs->item($i);
   $url = $href->getAttribute('href');
  
   // 保留以http开头的链接
   if(substr($url, 0, 4) == 'http')
      echo $url.'<br />';
}

fopen()函数读取指定网页中的所有链接并统计出数量，在一些需要采集网页页容的地方，适合使用本代码，本例以读取百度首页为例，找出百度首页中所有的链接地址，代码经过测试，完全可用：

<?
if(empty($url))$url = "http://www.baidu.com/";//需要采集链接的URL地址
$site=substr($url,0,strpos($url,"/",8));
$base=substr($url,0,strrpos($url,"/")+1);//文件所在目录
$fp = fopen($url, "r" );//打开url地址页面
while(!feof($fp))$contents.=fread($fp,1024);
$pattern="|href=['\"]?([^ '\"]+)['\" ]|U";
preg_match_all($pattern,$contents, $regArr, PREG_SET_ORDER);//使用正则匹配所有href=
for($i=0;$i<count($regArr);$i++){//找出所有匹配的链接
if(!eregi("://",$regArr[$i][1]))//判断是否是相对路径，即是否还有://
    if(substr($regArr[$i][1],0,1)=="/")//是否是站点的根目录
    echo "link".($i+1).":".$site.$regArr[$i][1]."<br/>";//根目录
    else
    echo "link".($i+1).":".$base.$regArr[$i][1]."<br/>";//当前目录
else
    echo "link".($i+1).":".$regArr[$i][1]."<br/>";//相对路径
}
fclose($fp);
?>

正则表达式对于每一个程序员来讲都多少要知道一些了，下面来为各位整理了一些Python re(正则表达式)模块，希望文章能够帮助到各位。

一、Python中转义字符

  正则表达式使用反斜杠" \ "来代表特殊形式或用作转义字符，这里跟Python的语法冲突，因此，Python用" \\\\ "表示正则表达式中的" \ "，因为正则表达式中如果要匹配" \ "，需要用\来转义，变成" \\ "，而Python语法中又需要对字符串中每一个\进行转义，所以就变成了" \\\\ "。
上面的写法是不是觉得很麻烦，为了使正则表达式具有更好的可读性，Python特别设计了原始字符串(raw string)，需要提醒你的是，在写文件路径的时候就不要使用raw string了，这里存在陷阱。raw string就是用'r'作为字符串的前缀，如 r"\n"：表示两个字符"\"和"n"，而不是换行符了。Python中写正则表达式时推荐使用这种形式。

二、正则表达式元字符说明：

.    匹配除换行符以外的任意字符
^    匹配字符串的开始
$    匹配字符串的结束
[]   用来匹配一个指定的字符类别
？   对于前一个字符字符重复0次到1次
*    对于前一个字符重复0次到无穷次
{}   对于前一个字符重复m次
{m，n} 对前一个字符重复为m到n次
\d   匹配数字，相当于[0-9]
\D   匹配任何非数字字符，相当于[^0-9]
\s   匹配任意的空白符，相当于[ fv]
\S   匹配任何非空白字符，相当于[^ fv]
\w   匹配任何字母数字字符，相当于[a-zA-Z0-9_]
\W   匹配任何非字母数字字符，相当于[^a-zA-Z0-9_]
\b   匹配单词的开始或结束

三、导入正则表达式模块

3.1、导入正则表达式模块
>>> import  re
3.2、查看正则表达式模块方法

>>> dir(re)

['DEBUG', 'DOTALL', 'I', 'IGNORECASE', 'L', 'LOCALE', 'M', 'MULTILINE', 'S', 'Scanner', 'T', 'TEMPLATE', 'U', 'UNICODE', 'VERBOSE', 'X', '_MAXCACHE', '__all__', '__builtins__', '__doc__', '__file__', '__name__', '__package__', '__version__', '_alphanum', '_cache', '_cache_repl', '_compile', '_compile_repl', '_expand', '_pattern_type', '_pickle', '_subx', 'compile', 'copy_reg', 'error', 'escape', 'findall', 'finditer', 'match', 'purge', 'search', 'split', 'sre_compile', 'sre_parse', 'sub', 'subn', 'sys', 'template']

>>>

四、常用的正则表达式处理函数
4.1、re.search
     re.search 函数会在字符串内查找模式匹配，只到找到第一个匹配然后返回，如果字符串没有匹配，则返回None。
    提示：当我们不会用模块方法的时候用help
>>> help(re.search)
search(pattern, string, flags=0)

    第一个参数：规则
    第二个参数：表示要匹配的字符串
    第三个参数：标致位，用于控制正则表达式的匹配方式
    实例：下面的例子kuangl

>>> name="Hello,My name is kuangl,nice to meet you..."

>>> k=re.search(r'k(uan)gl',name)

>>> if k:

...     print k.group(0),k.group(1)

... else:

...     print "Sorry,not search!"

...

kuangl uan

4.2、re.match
    re.match 尝试从字符串的开始匹配一个模式，也等于说是匹配第一个单词
>>> help(re.match)
match(pattern, string, flags=0)
    第一个参数：规则
    第二个参数：表示要匹配的字符串
    第三个参数：标致位，用于控制正则表达式的匹配方式
    实例：下面的例子匹配Hello单词

>>> name="Hello,My name is kuangl,nice to meet you..."

>>> k=re.match(r"(\H....)",name)

>>> if k:

...      print k.group(0),'\n',k.group(1)

... else:

...     print "Sorry,not match!"

...

Hello

Hello

>>>

     re.match与re.search的区别：re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字串，直到找到一个匹配。
4.3、re.findall
    re.findall 在目标字符串查找符合规则的字符串

>>> help(re.findall)

findall(pattern, string, flags=0)

   第一个参数：规则
   第二个参数：目标字符串
   但三个参数：后面还可以跟一个规则选择项
   返回的结果是一个列表，建中存放的是符合规则的字符串，如果没有符合规则的字符串呗找到，就会返回一个空值。
   实例：查找邮件账号

>>> mail='<user01@mail.com> <user02@mail.com> user04@mail.com' #第3个故意没有尖括号

>>> re.findall(r'(\w+@m....[a-z]{3})',mail)

['user01@mail.com', 'user02@mail.com', 'user04@mail.com']

4.4、re.sub
   re.sub 用于替换字符串的匹配项
>>> help(re.sub)
sub(pattern, repl, string, count=0)
   第一个参数：规则
   第二个参数：替换后的字符串
   第三个参数：字符串
   第四个参数：替换个数。默认为0，表示每个匹配项都替换
   实例：将空白处替换成-

>>> test="Hi, nice to meet you where are you from?"

>>> re.sub(r'\s','-',test)

'Hi,-nice-to-meet-you-where-are-you-from?'

>>> re.sub(r'\s','-',test,5)                      #替换至第5个

'Hi,-nice-to-meet-you-where are you from?'

>>>

4.5、re.split
   re.split 用于来分割字符串

>>> help(re.split)

split(pattern, string, maxsplit=0)

   第一个参数：规则
   第二个参数：字符串
   第三个参数：最大分割字符串，默认为0，表示每个匹配项都分割
   实例：分割所有的字符串

>>> test="Hi, nice to meet you where are you from?"

>>> re.split(r"\s+",test)

['Hi,', 'nice', 'to', 'meet', 'you', 'where', 'are', 'you', 'from?']

>>> re.split(r"\s+",test,3)                  #分割前三个

['Hi,', 'nice', 'to', 'meet you where are you from?']

>>>

4.6、re.compile
   re.compile 可以把正则表达式编译成一个正则对象
>>> help(re.compile)
compile(pattern, flags=0)
   第一个参数：规则
   第二个参数：标志位
   实例：

>>> test="Hi, nice to meet you where are you from?"

>>> k=re.compile(r'\w*o\w*') #匹配带o的字符串

>>> dir(k)

['__copy__', '__deepcopy__', 'findall', 'finditer', 'match', 'scanner', 'search', 'split', 'sub', 'subn']

>>> print k.findall(test)     #显示所有包涵o的字符串

['to', 'you', 'you', 'from']

>>> print k.sub(lambda m: '[' + m.group(0) + ']',test)  # 将字符串中含有o的单词用[]括起来

Hi, nice [to] meet [you] where are [you] [from]?

>>>
五、用urllib2、re、os 模块下载文件的脚本

#!/usr/bin/env python
import urllib2
import re
import os
URL='http://image.baidu.com/channel/wallpaper'
read=urllib2.urlopen(URL).read()
pat =  re.compile(r'src="http://.+?.js">')
urls=re.findall(pat,read)
for i in urls:
    url= i.replace('src="','').replace('">','')
try:
    iread=urllib2.urlopen(url).read()
    name=os.path.basename(url)
    with open(name,'wb') as jsname:
    jsname.write(iread)
except:

    print url,"url error"

正则表达试对数据的验证是非常的简单了我们直接可以使用preg_match进行验证了，下面我们来看看小编整理的两个数字验证的两个函数。

安全验证的时候就需要这个判断了下面有2个判断一个是判断需要输入的指定数量一个是几位数至几位数下面就是第一种的判断

php 数字长度是否为11位数组

<?php
$text = "111111111112";
if(preg_match('/^\d{11}$/', $text)){
echo "y";
}else{
echo "n";
}
?>

第二种为 判断是否为 4 位数到 11 位数

<?php
$text = "1111111";
if(preg_match('/^\d{6,11}$/', $text)){
echo "y";
}else{
echo "n";
}
?>

第三种,

echo $符合条件 = is_numeric($表单变量) && (($len = strlen($表单变量)) == 16 || $len == 18);

或者:

echo $符合条件 = preg_match("/^\d{16}|\d{18}$/", $表单变量);

字符替换对于学php程序开发的人员来讲估计都觉得不是事了，在此小编为各位整理一些关于替换变量中字符的一些例子，希望对各位有帮助。

preg_replace字符替换例子

这里介绍三种常用方法.

代码如下	复制代码
方法一： <?php $str = preg_quote('(银子)'); $txt = '我的呢称(银子)'; echo preg_replace("/($str)/","<span style='color:#f00;'>$1</span>",$txt); ?> 方法二： <?php $str = quotemeta('(银子)'); $txt = '我的呢称(银子)'; echo preg_replace("/($str)/","<span style='color:#f00;'>$1</span>",$txt); ?> 方法三： <?php $str = '(银子)'; $txt = '我的呢称(银子)'; echo preg_replace("/(Q$strE)/","<span style='color:#f00;'>$1</span>",$txt); ?>

三种方法都返回同样结果.. PHP中的Perl风格正则与Perl完全一样.连quotemeta也是通用的..

str_replace() 函数使用一个字符串替换字符串中的另一些字符

function strreplace($str){
　　　　　　$str = stripslashes($str);
　　　　　　$str = str_replace(chr(92),'',$str);
　　　　　　$str = str_replace(chr(47),'',$str);
　　　　　　$str = str_replace(chr(10).chr(13),"<br>",$str);
　　　　　　$str = str_replace('<',"&lt;",$str);

　　　　　　$str = str_replace('>',"&gt;",$str);
　　　　　　$str = str_replace(';',"；",$str);
　　　　　　$str = str_replace('"',"“",$str);
　　　　　　$str = str_replace("'","‘",$str);
　　　　　　$str = str_replace(" "," ",$str);
　　　　　　$str = str_replace("/**/"," ",$str);

　　　　　　return trim($str);
}

 双引号替换问题

$tmp_data= str_replace("\"","",$tmp_data);双引号替换为空字符串

$tmp_data= str_replace("\"","'",$tmp_data);双引号替换为单引号

当然ereg_replace 作为正则表达式必须关注的，也要提示一下

数字正则比字母来看是相对来说比较容易的了，下文小编给各位整理了几段数字正则表达式了，有兴起的可以进入 来看看。

例子，提取字符串中的数字

$str = ereg_replace('[^0-9]',",$str);和

$str = preg_replace( '/[^\d]/ ', ' ',$str);

数字正则过滤

if(preg_match("/^\d*$/",$yebihai))  
echo('是数字');
else 
echo('不是数字');

或者用函数

if(is_numeric($yebihai))
echo('是数字');
else
echo('不是数字');

下面验证数字一些正确

验证数字：^[0-9]*$
验证n位的数字：^\d{n}$
验证至少n位数字：^\d{n,}$
验证m-n位的数字：^\d{m,n}$
验证零和非零开头的数字：^(0|[1-9][0-9]*)$
验证有两位小数的正实数：^[0-9]+(.[0-9]{2})?$
验证有1-3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$
验证非零的正整数：^\+?[1-9][0-9]*$
验证非零的负整数：^\-[1-9][0-9]*$
验证非负整数（正整数 + 0）  ^\d+$
验证非正整数（负整数 + 0）  ^((-\d+)|(0+))$