Delphi编程之爬取贴吧多页帖子图片

接着上一篇文章说一下我们如何爬取多页帖子的图片。

第一步，还是随便找个贴吧，这次我们就找图片相对较少的射雕英雄传吧。

把页面拉到最底下，在页码区域单击右键，选择检查。

在这里我们看到了页码的代码区域，蓝色字体就是页码的链接地址，比如第二页的地址：

"http://tieba.baidu.com/f?kw=%E5%B0%84%E9%9B%95%E8%8B%B1%E9%9B%84%E4%BC%A0&ie=utf-8&pn=50"

其中，%E5%B0%84%E9%9B%95%E8%8B%B1%E9%9B%84%E4%BC%A0是贴吧名字的UTF-8格式。

按照显示的数据分析得到，页码就是在后面加上pn=50*n，根据这个规律，我们输入http://tieba.baidu.com/f?kw=%E5%B0%84%E9%9B%95%E8%8B%B1%E9%9B%84%E4%BC%A0&ie=utf-8&pn=0，成功返回了第一页的页面，那么我们可以认为http://tieba.baidu.com/f?kw=%E5%B0%84%E9%9B%95%E8%8B%B1%E9%9B%84%E4%BC%A0&ie=utf-8&pn=后面加上50*n就可以得到任何一页的页面，n从0开始计数。

第二步，思路中，根据第一步的分析结果，不难得出页码的地址，在编写代码的时候可以用一个字符串数组来存储。

每获得一个页码，就用idhttp的get来获取这个页面的源码，那么就可以用上一篇文章分析的方法来获得当页所有楼层图片的下载地址。有了这个思路，我们开始写代码。

这次只用2个按钮就可以了，一个分析地址，一个下载图片。

全局变量：

addr: array [0 .. 20] of string;

htm: array [0 .. 20] of string;

tieziaddr, tiezihtm: array [0 .. 49] of string;

字符转UTF8函数：

Function ToUTF8(str: string): string;

var

b: Byte;

begin

for b in BytesOf(UTF8Encode(str)) do

Result := Format('%s%%%.2x', [Result, b]);

end;

获取地址button：

procedure TForm1.Button1Click(Sender: TObject);

var

i: integer;

n: integer;

tieba, str, bb, cc: string;

x, y, z, zz: integer;

tiezistr: string;

begin

Memo1.Clear;

Memo2.Clear;

Memo3.Clear;

tieba := ToUTF8(LabeledEdit1.Text);

if LabeledEdit2.Text = '' then

begin

n := 1;

end

else

begin

n := strtoint(LabeledEdit2.Text);

end;

for i := 0 to n - 1 do

begin

addr[i] := 'http://tieba.baidu.com/f?ie=utf-8&kw=' + tieba + '&fr=search' +

'&pn=' + inttostr(i * 50);

htm[i] := IdHTTP1.Get(addr[i]);

Memo1.Lines.add(htm[i]);

x := pos('参与本吧讨论', htm[i]);

str := copy(htm[i], x, length(htm[i]) - x);

while true do

begin

y := pos('<a href="/p/', str);

str := copy(str, y + 10, length(str) - y - 10);

if y = 0 then

begin

break;

end;

bb := copy(str, 0, 12);

Memo2.Lines.add('https://tieba.baidu.com/' + bb);

tiezistr:= IdHTTP1.Get('https://tieba.baidu.com/' + bb);

while true do

begin

z := pos('<img class="BDE_Image" src="', tiezistr);

tiezistr := copy(tiezistr, z + 28, length(tiezistr) - z - 28);

zz := pos('.jpg', tiezistr);

if z = 0 then

begin

break;

end;

cc := copy(tiezistr, 0, zz + 3);

Memo3.Lines.add(cc);

end;

end;

end;

end;

下载图片button：

procedure TForm1.Button2Click(Sender: TObject);

var

i: integer;

h: TIdHTTP;

res: String;

MyStream: TMemoryStream;

begin

for i := 1 to Memo3.Lines.Count do

begin

MyStream := TMemoryStream.Create;

h := TIdHTTP.Create(nil);

try

h.Get(Memo3.Lines[i - 1], MyStream);

MyStream.SaveToFile('C:\Users\Vico\Desktop\test\download\' + inttostr(i) +

'.jpg');

except

showmessage('网络出错!');

MyStream.Free;

exit;

end;

MyStream.Free;

end;

end;

下面是程序运行效果：

运行效果

下载的结果

---

总结：其实今天的文章没有太多的进步，主要是针对昨天的文章加以补充，是我分析的一个循环获取多页图片的想法和思路，希望能对大家有所帮助。需要注意的是：我上面写的代码，是有一个大问题的，在获取非常多页面的时候，或者图片非常多的贴吧的时候，单线程是坚决不推荐用的，一定要记得用多线程去获取数据和下载图片，切记！这也是我选择射雕英雄传吧来下载图片的原因，图片少。