您的位置：首页 > 编程技术 > csharp  >  c# HttpWebRequest通过代理服务器抓取网页内容应用介绍

c# HttpWebRequest通过代理服务器抓取网页内容应用介绍

 更新时间：2020年6月25日 11:43  点击：2622
内网用户或代理上网的用户使用
复制代码 代码如下:

using System.IO;
using System.Net;
public string get_html()
{
string urlStr = "http://www.domain.com"; //設定要獲取的地址
HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(urlStr); //建立HttpWebRequest對象
hwr.Timeout = 60000; //定義服務器超時時間
WebProxy proxy = new WebProxy(); //定義一個網關對象
proxy.Address = new Uri("http://proxy.domain.com:3128"); //網關服務器:端口
proxy.Credentials = new NetworkCredential("f3210316", "6978233"); //用戶名,密碼
hwr.UseDefaultCredentials = true; //啟用網關認証
hwr.Proxy = proxy; //設置網關
try
{
HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse(); //取得回應
}
catch
{
MessageBox.Show("无法连接代理！");
return;
}
//判断HTTP响应状态
if(hwrs.StatusCode != HttpStatusCode.OK)
{
MessageBox.Show("访问失败！");
hwrs.Close();
return;
}
else
{
Stream s = hwrs.GetResponseStream(); //得到回應的流對象
StreamReader sr = new StreamReader(s, Encoding.UTF8); //以UTF-8編碼讀取流
StringBuilder content = new StringBuilder(); //
while (sr.Peek() != -1) //每次讀取一行,直到
{ //下一個字節沒有內容
content.Append(sr.ReadLine()+""r"n"); //返回為止
} //
//return content.ToString() ;
}
//输出所有的Header（当然包括服务器输出的Cookie）
//for(int ii=0;ii<hwrs.Headers.Count;ii++)
//{
//MessageBox.Show(hwrs.Headers.GetKey(ii)+"："+res.Headers[ii]);
//}
}

大家知道，用HttpWebRequest可以通过Http对网页进行抓取，但是如果是内网，而且是通过代理上网的用户，如果直接进行操作是行不通的。
那有没有什么办法呢？
当然有，呵呵，见以下代码：
复制代码 代码如下:

string urlStr = "http://www.domain.com"; //設定要獲取的地址
HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(urlStr); //建立HttpWebRequest對象
hwr.Timeout = 60000; //定義服務器超時時間
WebProxy proxy = new WebProxy(); //定義一個網關對象
proxy.Address = new Uri("http://proxy.domain.com:3128"); //網關服務器:端口
proxy.Credentials = new NetworkCredential("f3210316", "6978233"); //用戶名,密碼
hwr.UseDefaultCredentials = true; //啟用網關認証
hwr.Proxy = proxy; //設置網關
HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse(); //取得回應
Stream s = hwrs.GetResponseStream(); //得到回應的流對象
StreamReader sr = new StreamReader(s, Encoding.UTF8); //以UTF-8編碼讀取流
StringBuilder content = new StringBuilder(); //
while (sr.Peek() != -1) //每次讀取一行,直到
{ //下一個字節沒有內容
content.Append(sr.ReadLine()+""r"n"); //返回為止
} //
return content.ToString() ; //返回得到的字符串
[!--infotagslink--]

相关文章

  • C#中HttpWebRequest、WebClient、HttpClient的使用详解

    这篇文章主要介绍了C#中HttpWebRequest、WebClient、HttpClient的使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-06-25

  • c# HttpWebRequest通过代理服务器抓取网页内容应用介绍

    在C#项目开发过程中可能会有些特殊的需求比如：用HttpWebRequest通过代理服务器验证后抓取网页内容,要想实现此方法并不容易，本文整理了一下，有需求的朋友可以参考下...2020-06-25

  • ASP.NET使用HttpWebRequest读取远程网页源代码

    本文分享了一个使用HttpWebRequest读取远程网页的案例，供大家参考学习。...2021-09-22

  • 浅谈C#中HttpWebRequest与HttpWebResponse的使用方法

    本篇文章主要介绍了浅谈C#中HttpWebRequest与HttpWebResponse的使用方法，具有一定的参考价值，有兴趣的可以了解一下。...2020-06-25

  • HttpWebRequest和HttpWebResponse用法小结

    在每个系统出写入报告错误代码(找个合理的理由，比如系统免费升级) -> 自家服务器接收并处理错误报告 -> 反馈用户(解决掉BUG就行，不要太声扬)...2021-09-22

  • C#基于HttpWebRequest实现发送HTTP请求的方法分析

    这篇文章主要介绍了C#基于HttpWebRequest实现发送HTTP请求的方法,结合实例形式分析了C#使用HttpWebRequest类与System.IO类实现发送HTTP请求相关操作技巧与注意事项,需要的朋友可以参考下...2020-06-25

  • C#使用HttpWebRequest重定向方法详解

    在本篇内容里小编给读者们整理了关于C#使用HttpWebRequest重定向方法和相关知识点，需要的朋友们参考下。...2020-06-25

  • C#采用HttpWebRequest实现保持会话上传文件到HTTP的方法

    这篇文章主要介绍了C#采用HttpWebRequest实现保持会话上传文件到HTTP的方法,很实用的功能,需要的朋友可以参考下...2020-06-25

  • Perl实现的Linux下socket代理服务器

    这篇文章主要介绍了Perl实现的Linux下socket代理服务器,比较简洁的一个版本,需要的朋友可以参考下...2020-06-29

  • C# httpwebrequest访问HTTPS错误处理方法

    下面小编就为大家带来一篇C# httpwebrequest访问HTTPS错误处理方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧...2020-06-25

  • nginx下的代理服务器80端口被封的解决方案

    这篇文章主要是讲:通过nginx下面的代理服务器,实现访问A地址的时候自动代理到B地址的某个端口,主要用于标题说的某个端口被日.其他东西都正常的情况下,这玩意早上我刚刚测试过,这博客就是个很好的例子....2016-01-27

  • HttpWebRequest实现下载图片至本地

    这篇文章主要为大家详细介绍了HttpWebRequest实现下载图片至本地，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2020-06-25

  • C#中HttpWebRequest的用法详解

    这篇文章主要介绍了C#中HttpWebRequest的用法,以实例的形式详细叙述了HttpWebRequest类中GET与POST的用法,非常具有参考借鉴价值,需要的朋友可以参考下...2020-06-25

  • 为apache配置代理服务器

    为了允许Apache作为代理服务器，需要将ProxyRequests设为On，所有请求均可由这台代理服务器代理服务。然后根据我们希望代理服务器做什么而增加什么附加配置。无论希望做什么，我...2016-01-28

  • nginx搭建tcp代理服务器

    Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多，大部分门户网站都把它作为首选WEB前端。下面讲讲如何利用Nginx搭建tcp代理服务器...2016-01-27

  • PHP实例分享判断客户端是否使用代理服务器及其匿名级别

    要判断客户端是否使用代理服务器，可以从客户端所发送的环境变量信息来判断。具体来说，就是看HTTP_VIA字段，如果这个字段设置了，说明客户端使用了代理服务器。匿名级别可以参考下表来判断。给出一个应用例子，可以挂上代理试...2014-06-07

  • HttpWebRequest的常见错误使用TcpClient可避免

    有时使用HttpWebRequest对象会出现错误有三种服务器提交了协议冲突/基础连接已经关闭:连接被意外关闭/无法发送具有此谓词类型的内容正文,感兴趣的朋友可以参考下本文...2021-09-22

  • 在Windows下利用Squid开设代理服务器

    unix/linux下大名鼎鼎的开源免费代理软件squid(www.squid-cache.org)是有windows的native版本squidnt。既然如此，squid一出，谁与争锋？ squid在windows下的安装配置同样简...2016-09-20

  • C#使用HttpWebRequest与HttpWebResponse模拟用户登录

    这篇文章主要为大家详细介绍了C#使用HttpWebRequest与HttpWebResponse模拟用户登录，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2020-06-25

  • Vue脚手架配置代理服务器的两种方式(小结)

    本文主要介绍了Vue脚手架配置代理服务器的两种方式(小结)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2023-01-10