C#实现可缓存网页到本地的反向代理工具实例
更新时间:2020年6月25日 11:30 点击:1744
本文实例讲述了C#实现可缓存网页到本地的反向代理工具。分享给大家供大家参考。具体实现方法如下:
proxy.ashx 主文件:
<%@ WebHandler Language="C#" Class="proxy" %> using System; using System.Web; using System.Net; using System.Text; using System.IO; using System.Collections.Generic; using System.Configuration; /// <summary> /// 把http headers 和 http 响应的内容 分别存储在 /proxy/header/ 和 /proxy/body/ 中 /// 分层次创建目录 /// </summary> public class proxy : IHttpHandler { HttpResponse Response; HttpRequest Request; HttpApplicationState Application; HttpServerUtility Server; static string proxyCacheFolder = ConfigurationManager.AppSettings["proxyCacheFolder"]; static string proxyDomain = ConfigurationManager.AppSettings["proxyDomain"]; static string proxyReferer = ConfigurationManager.AppSettings["proxyReferer"]; bool proxyCacheDirectAccess = ConfigurationManager.AppSettings["proxyCacheDirectAccess"] == "true"; int proxyCacheSeconds = int.Parse(ConfigurationManager.AppSettings["proxyCacheSeconds"]); public void ProcessRequest(HttpContext context) { Response = context.Response; Request = context.Request; Application = context.Application; Server = context.Server; string path = context.Request.RawUrl; bool delCache = path.IndexOf("?del") > 0; if (delCache) { path = path.Replace("?del", string.Empty); DeleteCacheFile(path); return; } bool allowCache = Request.QueryString["cache"] == "true"; string seconds = Request.QueryString["seconds"] ?? string.Empty; if (!int.TryParse(seconds, out proxyCacheSeconds)) { proxyCacheSeconds = 3600; } if (allowCache) { EchoData(path); } else { WebClient wc = new WebClient(); wc.Headers.Set("Referer", proxyReferer); byte[] buffer = wc.DownloadData(proxyDomain + path); Response.ContentType = wc.ResponseHeaders["Content-Type"]; foreach (string key in wc.ResponseHeaders.AllKeys) { Response.Headers.Set(key, wc.ResponseHeaders[key]); } wc.Dispose(); Response.OutputStream.Write(buffer, 0, buffer.Length); } } /// <summary> /// 清理失效的缓存 /// </summary> /// <param name="d"></param> void ClearTimeoutCache(DirectoryInfo d) { if (d.Exists) { FileInfo[] files = d.GetFiles(); foreach (FileInfo file in files) { TimeSpan timeSpan = DateTime.Now - file.LastAccessTime; if (timeSpan.TotalSeconds > proxyCacheSeconds) { file.Delete(); } } } } string GetCacheFolderPath(string hash) { string s = string.Empty; for (int i = 0; i <= 2; i++) { s += hash[i] + "/"; } return s; } /// <summary> /// 读取缓存的header 并输出 /// </summary> /// <param name="cacheHeaderPath"></param> void EchoCacheHeader(string cacheHeaderPath) { string[] headers = File.ReadAllLines(cacheHeaderPath); for (int i = 0; i < headers.Length; i++) { string[] headerKeyValue = headers[i].Split(':'); if (headerKeyValue.Length == 2) { if (headerKeyValue[0] == "Content-Type") { Response.ContentType = headerKeyValue[1]; } Response.Headers.Set(headerKeyValue[0], headerKeyValue[1]); } } } void DeleteCacheFile(string path) { string absFolder = Server.MapPath(proxyCacheFolder); string hash = GetHashString(path); string folder = GetCacheFolderPath(hash); string cacheBodyPath = absFolder + "/body/" + folder + hash; string cacheHeaderPath = absFolder + "/header/" + folder + hash; FileInfo cacheBody = new FileInfo(cacheBodyPath); FileInfo cacheHeader = new FileInfo(cacheHeaderPath); if (cacheBody.Exists) { cacheBody.Delete(); } if (cacheHeader.Exists) { cacheHeader.Delete(); } Response.Write("delete cache file Success!\r\n" + path); } /// <summary> /// 输出缓存 /// </summary> /// <param name="cacheHeaderPath">缓存header 的文件路径</param> /// <param name="cacheBodyPath">缓存 body 的文件路径</param> /// <param name="ifTimeout">是否进行判断文件过期</param> /// <returns>是否输出成功</returns> bool EchoCacheFile(string cacheHeaderPath, string cacheBodyPath, bool ifTimeout) { FileInfo cacheBody = new FileInfo(cacheBodyPath); FileInfo cacheHeader = new FileInfo(cacheHeaderPath); ClearTimeoutCache(cacheBody.Directory); ClearTimeoutCache(cacheHeader.Directory); if (cacheBody.Exists && cacheHeader.Exists) { if (ifTimeout) { TimeSpan timeSpan = DateTime.Now - cacheBody.LastWriteTime; if (timeSpan.TotalSeconds < proxyCacheSeconds) { EchoCacheHeader(cacheHeaderPath); Response.TransmitFile(cacheBodyPath); return true; } } else { EchoCacheHeader(cacheHeaderPath); Response.TransmitFile(cacheBodyPath); return true; } } return false; } void EchoData(string path) { string absFolder = Server.MapPath(proxyCacheFolder); string hash = GetHashString(path); string folder = GetCacheFolderPath(hash); string cacheBodyPath = absFolder + "/body/" + folder + hash; string cacheHeaderPath = absFolder + "/header/" + folder + hash; bool success; if (proxyCacheDirectAccess) { success = EchoCacheFile(cacheHeaderPath, cacheBodyPath, false); if (!success) { Response.Write("直接从缓存读取失败!"); } return; } success = EchoCacheFile(cacheHeaderPath, cacheBodyPath, true); if (success) { return; } //更新Cache File string ApplicationKey = "CacheList"; List<string> List = null; if (Application[ApplicationKey] == null) { Application.Lock(); Application[ApplicationKey] = List = new List<string>(1000); Application.UnLock(); } else { List = (List<string>)Application[ApplicationKey]; } //判断是否已有另一个进程正在更新Cache File if (List.Contains(hash)) { success = EchoCacheFile(cacheHeaderPath, cacheBodyPath, false); if (success) { return; } else { WebClient wc = new WebClient(); wc.Headers.Set("Referer", proxyReferer); //主体内容 byte[] data = wc.DownloadData(proxyDomain + path); //处理header Response.ContentType = wc.ResponseHeaders["Content-Type"]; foreach (string key in wc.ResponseHeaders.AllKeys) { Response.Headers.Set(key, wc.ResponseHeaders[key]); } wc.Dispose(); Response.BinaryWrite(data); } } else { WebClient wc = new WebClient(); wc.Headers.Set("Referer", proxyReferer); StringBuilder headersb = new StringBuilder(); List.Add(hash); //主体内容 byte[] data = wc.DownloadData(proxyDomain + path); //处理header Response.ContentType = wc.ResponseHeaders["Content-Type"]; foreach (string key in wc.ResponseHeaders.AllKeys) { headersb.Append(key); headersb.Append(":"); headersb.Append(wc.ResponseHeaders[key]); headersb.Append("\r\n"); Response.Headers.Set(key, wc.ResponseHeaders[key]); } wc.Dispose(); string headers = headersb.ToString().Trim(); if (!Directory.Exists(absFolder + "/header/" + folder)) { Directory.CreateDirectory(absFolder + "/header/" + folder); } StreamWriter sw = File.CreateText(absFolder + "/header/" + folder + hash); sw.Write(headers); sw.Close(); sw.Dispose(); //处理缓存内容 if (!Directory.Exists(absFolder + "/body/" + folder)) { Directory.CreateDirectory(absFolder + "/body/" + folder); } FileStream fs = File.Create(absFolder + "/body/" + folder + hash); fs.Write(data, 0, data.Length); fs.Close(); fs.Dispose(); List.Remove(hash); Response.BinaryWrite(data); } } string GetHashString(string path) { string md5 = GetMd5Str(path); return md5; } static string GetMd5Str(string ConvertString) { System.Security.Cryptography.MD5CryptoServiceProvider md5 = new System.Security.Cryptography.MD5CryptoServiceProvider(); string t2 = BitConverter.ToString(md5.ComputeHash(UTF8Encoding.Default.GetBytes(ConvertString)), 4, 8); t2 = t2.Replace("-", ""); return t2; } public bool IsReusable { get { return false; } } }
web.config文件如下:
<?xml version="1.0"?> <configuration> <configSections> <section name="RewriterConfig" type="URLRewriter.Config.RewriterConfigSerializerSectionHandler, URLRewriter"/> </configSections> <RewriterConfig> <Rules> <RewriterRule> <LookFor>~/.*$</LookFor> <SendTo> <!--cache=true 设置此路径进行缓存--> <![CDATA[~/proxy.ashx?cache=true&seconds=30]]> </SendTo> </RewriterRule> <RewriterRule> <LookFor>~/ajax/.*$</LookFor> <SendTo> <!--cache=false 设置此路径不允许缓存--> <![CDATA[~/proxy.ashx?cache=false]]> </SendTo> </RewriterRule> </Rules> </RewriterConfig> <appSettings> <!--#反向代理设置 start--> <!--设置站点--> <add key="proxyDomain" value="http://127.0.0.1:12123/"/> <!--缓存文件夹--> <add key="proxyCacheFolder" value="/proxyCache/"/> <!--缓存时长--> <add key="proxyCacheSeconds" value="3600"/> <!--设置不再判断缓存文件是否超时,直接从缓存读取--> <add key="proxyCacheDirectAccess" value="false"/> <!--设置反向代理Referer--> <add key="proxyReferer" value="http://www.www.com/"/> <!--#反向代理设置 end--> </appSettings> <system.webServer> <modules runAllManagedModulesForAllRequests="true"> <add type="URLRewriter.ModuleRewriter, URLRewriter" name="ModuleRewriter"/> </modules> </system.webServer> <system.web> <compilation debug="true"/> </system.web> </configuration>
希望本文所述对大家的C#程序设计有所帮助。
上一篇: C#实现向函数传递不定参数的方法
下一篇: C#快速排序算法实例分析
相关文章
- 这篇文章主要介绍了C# 字段和属性的的相关资料,文中示例代码非常详细,供大家参考和学习,感兴趣的朋友可以了解下...2020-11-03
- 我们在使用C#做项目的时候,基本上都需要制作登录界面,那么今天我们就来一步步看看,如果简单的实现登录界面呢,本文给出2个例子,由简入难,希望大家能够喜欢。...2020-06-25
- 这篇文章主要介绍了C#中截取字符串的的基本方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-03
- 这篇文章主要介绍了C#实现简单的Http请求的方法,以实例形式较为详细的分析了C#实现Http请求的具体方法,需要的朋友可以参考下...2020-06-25
- 本文给大家分享C#连接SQL数据库和查询数据功能的操作技巧,本文通过图文并茂的形式给大家介绍的非常详细,需要的朋友参考下吧...2021-05-17
- 本文主要介绍了C#中new的几种用法,具有很好的参考价值,下面跟着小编一起来看下吧...2020-06-25
使用Visual Studio2019创建C#项目(窗体应用程序、控制台应用程序、Web应用程序)
这篇文章主要介绍了使用Visual Studio2019创建C#项目(窗体应用程序、控制台应用程序、Web应用程序),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2020-06-25- 这篇文章主要介绍了C#开发Windows窗体应用程序的简单操作步骤,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-12
- 这篇文章主要介绍了C#从数据库读取图片并保存的方法,帮助大家更好的理解和使用c#,感兴趣的朋友可以了解下...2021-01-16
- 最近做一个小项目不可避免的需要前端脚本与后台进行交互。由于是在asp.net中实现,故问题演化成asp.net中jiavascript与后台c#如何进行交互。...2020-06-25
- 本文通过例子,讲述了C++调用C#的DLL程序的方法,作出了以下总结,下面就让我们一起来学习吧。...2020-06-25
- 轻松学习C#的基础入门,了解C#最基本的知识点,C#是一种简洁的,类型安全的一种完全面向对象的开发语言,是Microsoft专门基于.NET Framework平台开发的而量身定做的高级程序设计语言,需要的朋友可以参考下...2020-06-25
- 本文主要介绍了C#变量命名规则小结,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-09-09
- 这篇文章主要介绍了C#绘制曲线图的方法,以完整实例形式较为详细的分析了C#进行曲线绘制的具体步骤与相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
- 本文主要介绍了C# 中取绝对值的函数。具有很好的参考价值。下面跟着小编一起来看下吧...2020-06-25
- 这篇文章主要介绍了c#自带缓存使用方法,包括获取数据缓存、设置数据缓存、移除指定数据缓存等方法,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了c#中(&&,||)与(&,|)的区别详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-06-25
- 下面小编就为大家带来一篇C#学习笔记- 随机函数Random()的用法详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2020-06-25
- 这篇文章主要用实例讲解C#递归算法的概念以及用法,文中代码非常详细,帮助大家更好的参考和学习,感兴趣的朋友可以了解下...2020-06-25
- 这篇文章主要介绍了C#中list用法,结合实例形式分析了C#中list排序、运算、转换等常见操作技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25