(转) 在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求

转自：http://blog.csdn.net/zhoufoxcn/article/details/6404236

通用辅助类
 下面是我编写的一个辅助类，在这个类中采用了HttpWebRequest中发送GET/HTTP/HTTPS请求，因为有的时候需要获取认证信息（如Cookie），所以返回的是HttpWebResponse对象，有了返回的HttpWebResponse实例，可以获取登录过程中返回的会话信息，也可以获取响应流。
 代码如下：

1. using System;
2. using System.Collections.Generic;
3. using System.Linq;
4. using System.Text;
5. using System.Net.Security;
6. using System.Security.Cryptography.X509Certificates;
7. using System.DirectoryServices.Protocols;
8. using System.ServiceModel.Security;
9. using System.Net;
10. using System.IO;
11. using System.IO.Compression;
12. using System.Text.RegularExpressions;
13. /*
14. * 作者：周公(zhoufoxcn)
15. * 日期：2011-05-08
16. * 原文出处：http://blog.csdn.net/zhoufoxcn 或http://zhoufoxcn.blog.51cto.com
17. * 版权说明：本文可以在保留原文出处的情况下使用于非商业用途，周公对此不作任何担保或承诺。
18. * */
19. namespace BaiduCang
20. {
21. /// <summary>
22. /// 有关HTTP请求的辅助类
23. /// </summary>
24. public class HttpWebResponseUtility
25. {
26. private static readonly string DefaultUserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";
27. /// <summary>
28. /// 创建GET方式的HTTP请求
29. /// </summary>
30. /// <param name="url">请求的URL</param>
31. /// <param name="timeout">请求的超时时间</param>
32. /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param>
33. /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>
34. /// <returns></returns>
35. public static HttpWebResponse CreateGetHttpResponse(string url,int? timeout, string userAgent,CookieCollection cookies)
36. {
37. if (string.IsNullOrEmpty(url))
38. {
39. throw new ArgumentNullException("url");
40. }
41. HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
42. request.Method = "GET";
43. request.UserAgent = DefaultUserAgent;
44. if (!string.IsNullOrEmpty(userAgent))
45. {
46. request.UserAgent = userAgent;
47. }
48. if (timeout.HasValue)
49. {
50. request.Timeout = timeout.Value;
51. }
52. if (cookies != null)
53. {
54. request.CookieContainer = new CookieContainer();
55. request.CookieContainer.Add(cookies);
56. }
57. return request.GetResponse() as HttpWebResponse;
58. }
59. /// <summary>
60. /// 创建POST方式的HTTP请求
61. /// </summary>
62. /// <param name="url">请求的URL</param>
63. /// <param name="parameters">随同请求POST的参数名称及参数值字典</param>
64. /// <param name="timeout">请求的超时时间</param>
65. /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param>
66. /// <param name="requestEncoding">发送HTTP请求时所用的编码</param>
67. /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>
68. /// <returns></returns>
69. public static HttpWebResponse CreatePostHttpResponse(string url,IDictionary<string,string> parameters,int? timeout, string userAgent,Encoding requestEncoding,CookieCollection cookies)
70. {
71. if (string.IsNullOrEmpty(url))
72. {
73. throw new ArgumentNullException("url");
74. }
75. if(requestEncoding==null)
76. {
77. throw new ArgumentNullException("requestEncoding");
78. }
79. HttpWebRequest request=null;
80. //如果是发送HTTPS请求
81. if(url.StartsWith("https",StringComparison.OrdinalIgnoreCase))
82. {
83. ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
84. request = WebRequest.Create(url) as HttpWebRequest;
85. request.ProtocolVersion=HttpVersion.Version10;
86. }
87. else
88. {
89. request = WebRequest.Create(url) as HttpWebRequest;
90. }
91. request.Method = "POST";
92. request.ContentType = "application/x-www-form-urlencoded";
93. if (!string.IsNullOrEmpty(userAgent))
94. {
95. request.UserAgent = userAgent;
96. }
97. else
98. {
99. request.UserAgent = DefaultUserAgent;
100. }
101. if (timeout.HasValue)
102. {
103. request.Timeout = timeout.Value;
104. }
105. if (cookies != null)
106. {
107. request.CookieContainer = new CookieContainer();
108. request.CookieContainer.Add(cookies);
109. }
110. //如果需要POST数据
111. if(!(parameters==null||parameters.Count==0))
112. {
113. StringBuilder buffer = new StringBuilder();
114. int i = 0;
115. foreach (string key in parameters.Keys)
116. {
117. if (i > 0)
118. {
119. buffer.AppendFormat("&{0}={1}", key, parameters[key]);
120. }
121. else
122. {
123. buffer.AppendFormat("{0}={1}", key, parameters[key]);
124. }
125. i++;
126. }
127. byte[] data = requestEncoding.GetBytes(buffer.ToString());
128. using (Stream stream = request.GetRequestStream())
129. {
130. stream.Write(data, 0, data.Length);
131. }
132. }
133. return request.GetResponse() as HttpWebResponse;
134. }
135. private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)
136. {
137. return true; //总是接受
138. }
139. }
140. }

从上面的代码中可以看出POST数据到HTTP和HTTPS站点不同，POST数据到HTTPS站点的时候需要设置ServicePointManager类的ServerCertificateValidationCallback属性，并且在POST到https://passport.baidu.com/?login时还需要将HttpWebResquest实例的ProtocolVersion属性设置为HttpVersion.Version10（这个未验证是否所有的HTTPS站点都需要设置），否则在调用GetResponse()方法时会抛出“基础连接已经关闭: 连接被意外关闭。”的异常。
 
 用法举例
 这个类用起来也很简单：
 （1）POST数据到HTTPS站点，用它来登录百度：

1. string loginUrl = "https://passport.baidu.com/?login";
2. string userName = "userName";
3. string password = "password";
4. string tagUrl = "http://cang.baidu.com/"+userName+"/tags";
5. Encoding encoding = Encoding.GetEncoding("gb2312");
6. IDictionary<string, string> parameters = new Dictionary<string, string>();
7. parameters.Add("tpl", "fa");
8. parameters.Add("tpl_reg", "fa");
9. parameters.Add("u", tagUrl);
10. parameters.Add("psp_tt", "0");
11. parameters.Add("username", userName);
12. parameters.Add("password", password);
13. parameters.Add("mem_pass", "1");
14. HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, encoding, null);
15. string cookieString = response.Headers["Set-Cookie"];

（2）发送GET请求到HTTP站点
 在cookieString中包含了服务器端返回的会话信息数据，从中提取了之后可以设置Cookie下次登录时带上这个Cookie就可以以认证用户的信息，假设我们已经登录成功并且获取了Cookie，那么发送GET请求的代码如下：

1. string userName = "userName";
2. string tagUrl = "http://cang.baidu.com/"+userName+"/tags";
3. CookieCollection cookies = new CookieCollection();//如何从response.Headers["Set-Cookie"];中获取并设置CookieCollection的代码略
4. response = HttpWebResponseUtility.CreateGetHttpResponse(tagUrl, null, null, cookies);

(3)发送POST请求到HTTP站点
 以登录51CTO为例

1. string loginUrl = "http://home.51cto.com/index.php?s=/Index/doLogin";
2. string userName = "userName";
3. string password = "password";
4. IDictionary<string, string> parameters = new Dictionary<string, string>();
5. parameters.Add("email", userName);
6. parameters.Add("passwd", password);
7. HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, Encoding.UTF8, null);

在这里说句题外话，CSDN的登录处理是由http://passport.csdn.net/ajax/accounthandler.ashx这个Handler来处理的。
 
 总结

在本文只是讲解了在C#中发送请求到HTTP和HTTPS的用法，分GET/POST两种方式，为减少一些繁琐和机械的编码，周公将其封装为一个类，发送数据之后返回HttpWebResponse对象实例，利用这个实例我们可以获取服务器端返回的Cookie以便用认证用户的身份继续发送请求，或者读取服务器端响应的内容，不过在读取响应内容时要注意响应格式和编码，本来在这个类中还有读取HTML和WML内容的方法（包括服务器使用压缩方式传输的数据），但限于篇幅和其它方面的原因，此处省略掉了。如有机会，在以后的文章中会继续讲述这方面的内容。