Java爬取 百度图片Google图片Bing图片

先看看抓取的结果。

8个Java类：

• Startup.java - main函数
• ImageCrawler.java - Crawler基类
• BaiduImageCrawler.java - 百度图片的具体爬取实现
• GoogleImageCrawler.java - Google图片的具体爬取实现
• BingImageCrawler.java - Bing图片的具体爬取实现
• ImageWorker.java - 定时从Queue中取图片URL下载（默认开启100个）
• ImageDownloader.java - 图片下载
• MD5Checksum.java - 文件MD5计算（文件去重）

1. public class BaiduImageCrawler extends ImageCrawler {
2. //tn:resultjsonavatarnew
3. //ie:utf-8 字符编码（ie输入 oe输出）
4. //word:美女 搜索关键字
5. //pn:60 开始条数
6. //rn:30 显示数量
7. //z:0 尺寸（0全部尺寸 9特大 3大 2中 1小）
8. //width:1024 自定义尺寸-宽
9. //height:768 自定义尺寸-高
10. //ic:0 颜色(0全部颜色 1红色 2黄色 4绿色 8青色 16蓝色 32紫色 64粉色 128棕色 256橙色 512黑色 1024白色 2048黑白)
11. //s:0 3头像图片
12. //face:0 1面部特写
13. //st:-1 -1全部类型 1卡通画 2简笔画
14. //lm:-1 (6动态图片 7静态图片)
15. //gsm:3c pn值的十六进制数
16. private static final String BAIDU_IMAGE_SEARCH_URL = "http://image.baidu.com/search/avatarjson?tn=resultjsonavatarnew&ie=utf-8&word=%s&pn=%d&rn=%d&z=3&ic=0&s=0&face=0&st=-1&lm=-1&gsm=%s";
17. private static final int PAGE_SIZE = 60;
18. private static final String IMAGE_URL_REG = "\"objURL\":\"(https?://[^\"]+)\"";
19. private static final Pattern IMAGE_PATTERN = Pattern.compile(IMAGE_URL_REG);
20. @Override
21. public String getSearchUrl(String keyword, int page) {
22. int begin = page * PAGE_SIZE;
23. return String.format(BAIDU_IMAGE_SEARCH_URL, keyword, begin, PAGE_SIZE, Integer.toHexString(begin));
24. }
25. @Override
26. public int parseImageUrl(ConcurrentLinkedQueue<String> queue, StringBuffer data) {
27. int count = 0;
28. Matcher matcher = IMAGE_PATTERN.matcher(data);
29. while (matcher.find()) {
30. queue.offer(matcher.group(1));
31. count++;
32. }
33. return count;
34. }
35. }

1. public class GoogleImageCrawler extends ImageCrawler {
2. //tbm=isch
3. //q=美女 搜索关键字
4. //ijn=0 页码(***Google只提供到0到8页数据！)
5. //start=0 开始条数
6. //tbs=isz:l 搜索条件
7. //  尺寸
8. //  tbs=isz:l 大
9. //  tbs=isz:m 中
10. //  颜色
11. //  tbs=ic:color 彩色
12. //  tbs=ic:gray 黑白
13. //  tbs=ic:trans 透明
14. //  类型
15. //  tbs=itp:face 脸部特写
16. //  tbs=itp:photo 照片
17. //  tbs=itp:clipart 剪贴画
18. //  tbs=itp:lineart 素描画
19. //  tbs=itp:animated 动画
20. //  条件组合
21. //  tbs=isz:l,ic:color,itp:face
22. private static final String GOOGLE_IMAGE_SEARCH_URL = "https://www.google.com/search?tbm=isch&q=%s&ijn=%d&start=%d&tbs=isz:l";
23. private static final int PAGE_SIZE = 100;
24. private static final String IMAGE_URL_REG = "\"ou\":\"(https?://[^\"]+)\"";
25. private static final Pattern IMAGE_PATTERN = Pattern.compile(IMAGE_URL_REG);
26. @Override
27. public String getSearchUrl(String keyword, int page) {
28. int begin = page * PAGE_SIZE;
29. return String.format(GOOGLE_IMAGE_SEARCH_URL, keyword, page, begin);
30. }
31. @Override
32. public int parseImageUrl(ConcurrentLinkedQueue<String> queue, StringBuffer data) {
33. int count = 0;
34. Matcher matcher = IMAGE_PATTERN.matcher(data);
35. while (matcher.find()) {
36. queue.offer(matcher.group(1));
37. count++;
38. }
39. return count;
40. }
41. }

1. public class BingImageCrawler extends ImageCrawler {
2. //async=content
3. //q=美女 搜索关键字
4. //first=118 开始条数
5. //count=35 显示数量
6. private static final String BING_IMAGE_SEARCH_URL = "http://www.bing.com/images/async?async=content&q=%s&first=%d&count=%d";
7. private static final int PAGE_SIZE = 35;
8. private static final String IMAGE_URL_REG = "imgurl:&quot;(https?://[^,]+)&quot;";
9. private static final Pattern IMAGE_PATTERN = Pattern.compile(IMAGE_URL_REG);
10. @Override
11. public String getSearchUrl(String keyword, int page) {
12. int begin = page * PAGE_SIZE;
13. return String.format(BING_IMAGE_SEARCH_URL, keyword, begin, PAGE_SIZE);
14. }
15. @Override
16. public int parseImageUrl(ConcurrentLinkedQueue<String> queue, StringBuffer data) {
17. int count = 0;
18. Matcher matcher = IMAGE_PATTERN.matcher(data);
19. while (matcher.find()) {
20. queue.offer(matcher.group(1));
21. count++;
22. }
23. return count;
24. }
25. }