手把手教你写基于C++ Winsock的图片下载的网络爬虫

手把手教你写基于C++ Winsock的图片下载的网络爬虫

先来说一下主要的技术点：

1. 输入起始网址，使用ssacnf函数解析出主机号和路径(仅处理http协议网址)

2. 使用socket套接字连接服务器，，获取网页html代码（使用http协议的GET请求），然后使用正则表达式解析出图片url和其他的url。

3. 下载图片至创建的文件夹中，同时其他的url push进队列。

4. 为了使爬虫能够连续的工作，这里使用了BFS宽度优先搜索，也就是说一开始输入的网址作为起始网址，push进队列，然后把能解析出来的网址在不重复的情况下都push进队列，每次取队列的top来执行下载操作，直到队列为空时终止。

下面附上技术点的学习资料供参考：

ssanf函数的用法：

http://www.cnblogs.com/mycapple/archive/2012/08/03/2621681.html

C++11正则表达式

http://blog.sina.com.cn/s/blog_ac9fdc0b0101oow9.html

http协议：

http://www.ucai.cn/course/show/234

Socket编程：

http://blog.csdn.net/nk_test/article/details/47756381

http://blog.csdn.net/nk_test/article/details/47733307

另外，这个小爬虫结构简陋，还存在很多不足，例如队列中的url太多会爆内存，正则表达式匹配不够准确等，仅仅适合大家学习的时候练手哈。也欢迎大家发现bug，给出好的建议。

1. /*下载图片 C++ Winsock 网络编程*/
2. #define _CRT_SECURE_NO_WARNINGS   //vs 2013用于忽略c语言安全性警告
3. #include <cstdio>
4. #include <iostream>
5. #include <fstream>
6. #include <string>
7. #include <cstring>
8. #include <regex>
9. #include <vector>
10. #include <queue>
11. #include <algorithm>
12. #include <winsock2.h>
13. #include <map>
14. using namespace std;
15. #pragma comment(lib, "ws2_32.lib")
16. char  host[500];
17. int num = 1;
18. char othPath[800];
19. string allHtml;
20. vector <string> photoUrl;
21. vector <string> comUrl;
22. map <string, int> mp; //防止相同网址重复遍历
23. SOCKET sock;
24. bool analyUrl(char *url) //仅支持http协议,解析出主机和IP地址
25. {
26. char *pos = strstr(url, "http://");
27. if (pos == NULL)
28. return false;
29. else
30. pos += 7;
31. sscanf(pos, "%[^/]%s", host, othPath);   //http:// 后一直到/之前的是主机名
32. cout << "host: " << host << "   repath:" << othPath << endl;
33. return true;
34. }
35. void regexGetimage(string &allHtml)  //C++11 正则表达式提取图片url
36. {
37. smatch mat;
38. regex pattern("src=\"(.*?\.jpg)\"");
39. string::const_iterator start = allHtml.begin();
40. string::const_iterator end = allHtml.end();
41. while (regex_search(start, end, mat, pattern))
42. {
43. string msg(mat[1].first, mat[1].second);
44. photoUrl.push_back(msg);
45. start = mat[0].second;
46. }
47. }
48. void regexGetcom(string &allHtml) //提取网页中的http://的url
49. {
50. smatch mat;
51. //regex pattern("href=\"(.*?\.html)\"");
52. regex pattern("href=\"(http://[^\s'\"]+)\"");
53. string::const_iterator start = allHtml.begin();
54. string::const_iterator end = allHtml.end();
55. while (regex_search(start, end, mat, pattern))
56. {
57. string msg(mat[1].first, mat[1].second);
58. comUrl.push_back(msg);
59. start = mat[0].second;
60. }
61. }
62. void preConnect()  //socket进行网络连接
63. {
64. WSADATA wd;
65. WSAStartup(MAKEWORD(2, 2), &wd);
66. sock = socket(AF_INET, SOCK_STREAM, 0);
67. if (sock == INVALID_SOCKET)
68. {
69. cout << "建立socket失败！ 错误码： " << WSAGetLastError() << endl;
70. return;
71. }
72. sockaddr_in sa = { AF_INET };
73. int n = bind(sock, (sockaddr*)&sa, sizeof(sa));
74. if (n == SOCKET_ERROR)
75. {
76. cout << "bind函数失败！ 错误码： " << WSAGetLastError() << endl;
77. return;
78. }
79. struct hostent  *p = gethostbyname(host);
80. if (p == NULL)
81. {
82. cout << "主机无法解析出ip! 错误吗： " << WSAGetLastError() << endl;
83. return;
84. }
85. sa.sin_port = htons(80);
86. memcpy(&sa.sin_addr, p->h_addr, 4);//   with some problems ???
87. //sa.sin_addr.S_un.S_addr = inet_addr(*(p->h_addr_list));
88. //cout << *(p->h_addr_list) << endl;
89. n = connect(sock, (sockaddr*)&sa, sizeof(sa));
90. if (n == SOCKET_ERROR)
91. {
92. cout << "connect函数失败！ 错误码： " << WSAGetLastError() << endl;
93. return;
94. }
95. //像服务器发送GET请求，下载图片
96. string  reqInfo = "GET " +(string)othPath+ " HTTP/1.1\r\nHost: " + (string)host + "\r\nConnection:Close\r\n\r\n";
97. if (SOCKET_ERROR == send(sock, reqInfo.c_str(), reqInfo.size(), 0))
98. {
99. cout << "send error! 错误码： " << WSAGetLastError() << endl;
100. closesocket(sock);
101. return;
102. }
103. //PutImagtoSet();
104. }
105. void OutIamge(string imageUrl) //将图片命名，保存在目录下
106. {
107. int n;
108. char temp[800];
109. strcpy(temp, imageUrl.c_str());
110. analyUrl(temp);
111. preConnect();
112. string photoname;
113. photoname.resize(imageUrl.size());
114. int k = 0;
115. for (int i = 0; i<imageUrl.length(); i++){
116. char ch = imageUrl[i];
117. if (ch != '\\'&&ch != '/'&&ch != ':'&&ch != '*'&&ch != '?'&&ch != '"'&&ch != '<'&&ch != '>'&&ch != '|')
118. photoname[k++] = ch;
119. }
120. photoname = "./img/"+photoname.substr(0, k) + ".jpg";
121. fstream file;
122. file.open(photoname, ios::out | ios::binary);
123. char buf[1024];
124. memset(buf, 0, sizeof(buf));
125. n = recv(sock, buf, sizeof(buf)-1, 0);
126. char *cpos = strstr(buf, "\r\n\r\n");
127. //allHtml = "";
128. //allHtml += string(cpos);
129. file.write(cpos + strlen("\r\n\r\n"), n - (cpos - buf) - strlen("\r\n\r\n"));
130. while ((n = recv(sock, buf, sizeof(buf)-1, 0)) > 0)
131. {
132. file.write(buf, n);
133. //buf[n] = '\0';
134. //allHtml += string(buf);
135. }
136. //file.write(allHtml.c_str(), allHtml.length());
137. file.close();
138. //closesocket(sock);
139. }
140. void PutImagtoSet()  //解析整个html代码
141. {
142. int n;
143. //preConnect();
144. char buf[1024];
145. while ((n = recv(sock, buf, sizeof(buf)-1, 0)) > 0)
146. {
147. buf[n] = '\0';
148. allHtml += string(buf);
149. }
150. regexGetimage(allHtml);
151. regexGetcom(allHtml);
152. }
153. void bfs(string beginUrl)  //宽度优先搜索，像爬虫一样遍历网页
154. {
155. queue<string> q;
156. q.push(beginUrl);
157. while (!q.empty())
158. {
159. string cur = q.front();
160. mp[cur]++;
161. q.pop();
162. char tmp[800];
163. strcpy(tmp, cur.c_str());
164. analyUrl(tmp);
165. preConnect();
166. PutImagtoSet();
167. vector<string>::iterator ita = photoUrl.begin();
168. for (ita; ita != photoUrl.end(); ++ita)
169. {
170. OutIamge(*ita);
171. }
172. photoUrl.clear();
173. vector <string>::iterator it = comUrl.begin();
174. for (it; it != comUrl.end(); ++it)
175. {
176. if (mp[*it]==0)
177. q.push(*it);
178. }
179. comUrl.clear();
180. }
181. }
182. int main()
183. {
184. CreateDirectoryA("./img", 0);  //在工程下创建文件夹
185. string beginUrl= "http://news.qq.com/"; //输入起始网址
186. bfs(beginUrl);
187. return 0;
188. }

效果图：