您的位置：首页 > 编程技术 > csharp  >  C#.Net基于正则表达式抓取百度百家文章列表的方法示例

C#.Net基于正则表达式抓取百度百家文章列表的方法示例

 更新时间：2020年6月25日 11:18  点击：1571

本文实例讲述了C#.Net基于正则表达式抓取百度百家文章列表的方法。分享给大家供大家参考，具体如下：

工作之余，学习了一下正则表达式，鉴于实践是检验真理的唯一标准，于是便写了一个利用正则表达式抓取百度百家文章的例子，具体过程请看下面源码：

一、获取百度百家网页内容

public List<string[]> GetUrl()
{
  try
  {
    string url = "http://baijia.baidu.com/";
    WebRequest webRequest = WebRequest.Create(url);
    WebResponse webResponse = webRequest.GetResponse();
    StreamReader reader = new StreamReader(webResponse.GetResponseStream());
    string result = reader.ReadToEnd();
    reader.Close();
    webResponse.Close();
    return AnalysisHtml(result);
  }
  catch (Exception ex)
  {
    throw ex;
  }
}

二、通过正则表达式筛选

public List<string[]> AnalysisHtml(string htmlContent)
{
  List<string[]> list = new List<string[]>();
  string strPattern = "<h3><a\\s*.*>(?<Title>[^<]+)</a></h3>.*\\s*<p\\s*class=\"feeds-item-text\">(?<Abstract>[^<]+)<a\\s*href=\"(?<Url>.*)\"\\s*target=\"_blank\"\\s*class=\"feeds-item-more\"\\s*mon=\".*\\s*\">.*\\s*</a></p>";
  Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant);
  if (regex.IsMatch(htmlContent))
  {
    MatchCollection matchCollection = regex.Matches(htmlContent);
    foreach (Match match in matchCollection)
    {
      string[] str = new string[3];
      str[0] = match.Groups[1].Value;//获取到的是列表数据的标题
      str[1] = match.Groups[2].Value;//获取到的是内容
      str[2] = match.Groups[3].Value;//获取到的是链接到的地址
      list.Add(str);
    }
  }
  return list;
}

附：完整实例代码点击此处本站下载。

PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：

JavaScript正则表达式在线测试工具：
http://tools.jb51.net/regex/javascript

正则表达式在线生成工具：
http://tools.jb51.net/regex/create_reg

更多关于C#相关内容感兴趣的读者可查看本站专题：《C#正则表达式用法总结》、《C#编码操作技巧总结》、《C#常见控件用法教程》、《WinForm控件用法总结》、《C#数据结构与算法教程》、《C#面向对象程序设计入门教程》及《C#程序设计之线程使用技巧总结》

希望本文所述对大家C#程序设计有所帮助。

[!--infotagslink--]

相关文章

  • 一个关于JS正则匹配的踩坑记录

    这篇文章主要给大家介绍了一个关于JS正则匹配的踩坑记录，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-04-13

  • js正则学习小记之匹配字符串字面量

    关于匹配字符串问题，有很多种类型，今天讨论 js 代码里的字符串匹配，因为我想学完之后写个语法高亮练手，所以用js代码当作例子...2021-05-07

  • js 正则学习小记之匹配字符串字面量优化篇

    昨天在《js 正则学习小记之匹配字符串字面量》谈到 /"(?:\\.|[^"])*"/ 是个不错的表达式，因为可以满足我们的要求，所以这个表达式可用，但不一定是最好的...2021-05-07

  • C#使用正则表达式过滤html标签

    最近在开发一个项目，其中有需求要求我们把一段html转换为一般文本返回，使用正则表达式是明智的选择，下面小编给介绍下C#使用正则表达式过滤html标签，需要的朋友参考下...2020-06-25

  • C#抓取网络图片保存到本地的实现方法

    下面小编就为大家分享一篇C#抓取网络图片保存到本地的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-06-25

  • OpenResty中正则模式匹配的2种方法详解

    在 OpenResty 中，同时存在两套正则表达式规范：Lua 语言的规范和 Nginx 的规范，下面这篇文章主要给大家介绍了关于OpenResty中正则模式匹配的2种方法，文中通过示例代码介绍的非常详细，需要的朋友可以参考下。...2020-06-30

  • JS基于正则截取替换特定字符之间字符串操作示例

    这篇文章主要介绍了JS基于正则截取替换特定字符之间字符串操作方法,结合具体实例形式分析了JS基于正则实现针对特殊字符、数字等字符串类型的截取操作相关技巧,需要的朋友可以参考下...2017-02-08

  • 浅谈JS正则RegExp对象

    这篇文章主要介绍JS正则RegExp对象，正则表达式是描述字符模式的对象，用于对字符串模式匹配及检索替换，是对字符串执行模式匹配的强大工具。下面就来看具体详情,需要的朋友可以参考一下...2021-10-21

  • 浅谈js正则之test方法bug篇

    其实我很少用这个，所以之前一直没注意这个问题，自从落叶那厮写了个变态的测试我才去看了下这东西...2021-05-07

  • JS利用正则配合replace替换指定字符

    替换指定字符的方法有很多，在本文为大家详细介绍下，JS利用正则配合replace是如何做到的，喜欢的朋友可以参考下...2021-05-07

  • Spring-AOP 静态正则表达式方法如何匹配切面

    这篇文章主要介绍了Spring-AOP 静态正则表达式方法如何匹配切面的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-07-19

  • php正则中文表达式

    php教程正则中文表达式 $str = "abc一二三cde"; echo preg_replace('/[^x4e00-x9fa5]/i'," ",$str); $str = "php编程"; if (preg_match("/^[x4e00-x9fa5]+$/u",$s...2016-11-25

  • php正则入门 实习email和URL验证

    匹配email地址的正则表达式：w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)* 匹配网址url的正则表达式：[a-za-z]+://[^s]* 下面看一实例 <body　onload="f.a.select();"> <?php...2016-11-25

  • PHP正则判断输入是否字母实例程序

    在php中判断是否为纯字母我们可直接使用正则/^[a-zA-Z]$/来验证了，包括大小写字母哦，有需要了解的同学可参考参考。 上代码 代码如下 复制代码 ...2016-11-25

  • C#正则检测字符串是否字母数字混编的方法

    这篇文章主要介绍了C#正则检测字符串是否字母数字混编的方法,涉及C#正则判定字符串的使用技巧,需要的朋友可以参考下...2020-06-25

  • C#使用WebClient登录网站并抓取登录后的网页信息实现方法

    这篇文章主要介绍了C#使用WebClient登录网站并抓取登录后的网页信息实现方法,涉及C#基于会话操作登陆网页及页面读取相关操作技巧,需要的朋友可以参考下...2020-06-25

  • 正则文章内容中img图片地址与正则内容中的a连接地址

    本篇实例主要是讲到关于如何使用php中正则表达试来获取我们想要的东西，上面的实例就是要把文章内容字符串的链接地址与图片地址全部取出来，所有我们要正则就方便多了...2016-11-25

  • php正则链接-取得内容所有链接

    下面提供二款关于php正则链接方法，他们可以-取得内容所有链接并且保存到一个数组，当然也可以把链接全部替换哦。 方法一 代码如下 ...2016-11-25

  • PHP正则实战之匹配图片地址程序代码

    取所有内容中图片的地址我们必须使用正则表达式来匹配了，如果不使用它来匹配我们是无法获取到或才能获取到也是非常的麻烦了，下面我们一起来看看我整理了几段匹配图片地...2016-11-25

  • C#基于正则去掉注释的方法示例

    这篇文章主要介绍了C#基于正则去掉注释的方法,结合简单实例形式分析了C#针对注释符号的正则匹配相关操作技巧,需要的朋友可以参考下...2020-06-25