c# 网站生成静态页面

在一些需要经常更新页面数据的网站中，一般访问量不是很大的都直接发布的是带后台代码，每次访问都是有数据库交互的。但是一旦访问量增加了，那么这些服务器开销变成本就要考虑进来了，像一些文章，后台编辑后，文章内容存入数据库，如果1000人访问，如果还是每次取数据库，那这1000次的io访问就显得比较大了，一个好的方法就是，文章确定之后，做成静态页面，而这个做的方法由程序来做，就是递归遍历整个网站，将网站内容都访问一遍，然后生成这些页面的静态文本页面，在将这些页面发布，这样对浏览者而言，他看到的还是同一个地址，同一份文章，只是这份是静态的而言。这样就提升了网站的效率节约了资源；

下面附上一份C#遍历网站内容，然后生成内容页面代码；

1. private ArrayList htmlCreatedList = new ArrayList();
2. /// <summary>
3. /// 递归实现页面静态化功能
4. /// </summary>
5. /// <param name="urlString">要访问的页面链接地址</param>
6. public void SaveHtmlCode(string urlString)
7. {
8. if (htmlCreatedList.Contains(urlString))
9. {
10. return;
11. }
12. string htmlCode = GetHtmlCodeFromUrl(urlString);
13. string htmlPath = urlString.ToPhysicalPath();
14. string direcHtmlPath = Path.GetDirectoryName(htmlPath);
15. if (!Directory.Exists(direcHtmlPath))
16. {
17. Directory.CreateDirectory(direcHtmlPath);
18. }
19. File.WriteAllText(htmlPath, htmlCode);
20. htmlCreatedList.Add(urlString);
21. var urlList = GetUrlLinkFromHtmlCode(htmlCode);
22. string urlTemp = string.Empty;
23. foreach (string url in urlList)
24. {
25. urlTemp = url;
26. urlTemp = Regex.Replace(urlTemp, "href\\s*=\\s*", "");
27. urlTemp = urlTemp.Replace("\"", "");
28. urlTemp = urlTemp.Replace("\\", "/");
29. urlTemp = WebConfigInfo.UrlPrefix + urlTemp;
30. SaveHtmlCode(urlTemp);
31. }
32. }
33. /// <summary>
34. /// 通过HttpWebRequest页面链接的html代码
35. /// </summary>
36. /// <param name="urlString">页面链接地址</param>
37. /// <returns>页面链接对应的html代码</returns>
38. private string GetHtmlCodeFromUrl(string urlString)
39. {
40. HttpWebRequest hwRequest = (HttpWebRequest)WebRequest.Create(urlString);
41. hwRequest.UserAgent = "User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";
42. hwRequest.Accept = "*/*";
43. hwRequest.KeepAlive = true;
44. hwRequest.Headers.Add("Accept-Language", "zh-cn,en-us;q=0.5");
45. HttpWebResponse hwResponse = (HttpWebResponse)hwRequest.GetResponse();
46. Stream streamResponse = hwResponse.GetResponseStream();
47. StreamReader readerOfStream = new StreamReader(streamResponse, System.Text.Encoding.GetEncoding("utf-8"));
48. string strHtml = readerOfStream.ReadToEnd();
49. readerOfStream.Close();
50. streamResponse.Close();
51. hwResponse.Close();
52. return strHtml;
53. }
54. ///<summary>
55. ///正则表达式匹配出html代码中的超链接
56. ///</summary>
57. ///<param name="htmlCode">要找出超链接的html代码</param>
58. ///<returns></returns>
59. private IEnumerable<string> GetUrlLinkFromHtmlCode(string htmlCode)
60. {
61. string strRegex = "href\\s*=\\s*(?:[\"'](?<1>[^\"'.#:]*)[\"'])";
62. Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
63. MatchCollection ms = r.Matches(htmlCode);
64. IEnumerable<string> listUrl = from Match cc in ms select cc.ToString().Replace("&", "&");
65. return listUrl.Distinct();
66. }
67. }

给string 扩展了一个方法。

1. public static string ToPhysicalPath(this string urlString)
2. {
3. System.Uri uri = new System.Uri(urlString);
4. string htmlPath = string.Format("{0}\\Html\\{1}\\", System.Web.HttpContext.Current.Request.PhysicalApplicationPath, uri.AbsolutePath);
5. string[] querys = uri.Query.Split(new char[] { '?', '&', '=' }, StringSplitOptions.RemoveEmptyEntries);
6. htmlPath += string.Join(string.Empty, querys);
7. htmlPath += querys.Length.Equals(0) ? "Index.html" : ".html";
8. htmlPath = htmlPath.Replace("/", "\\");
9. htmlPath = htmlPath.Replace("\\\\", "\\");
10. return htmlPath;
11. }