post请求方式的翻页爬取内容及思考

 1 #coding=utf-8

 import urllib2
 import urllib
 import json

 output = open('huizho.json', 'w')
 for page in range(1,30): //爬取的页数，从1至29页
     request =urllib2.Request('http://www.hdgtjy.com/Index/PublicResults')
     request.add_header('X-Requested-With','XMLHttpRequest')
     request.add_header('Content-Type','application/x-www-form-urlencoded')
     values = 'page=%d&size=10'%page　　或者values = 'page='+str(page)+'&size=10'  
 
     request.add_data(values)
     response = urllib2.urlopen(request)
     resHtml =response.read()
     line = json.dumps(resHtml,ensure_ascii=False) + '\n'　　//因为爬取的内容含有中文，所以ensure_ascii不能为默认值True;

     output.write(line)
 output.close()
本段代码主要实现post请求方式的翻页功能，爬取的内容为某汽车网站的内容；编写代码遇到以下一个问题
1.当把12、13、14，行代码放到for循环上面，会发生当爬取的页数首位数发生改变时（这里因为网页原因只验证了个位数和两位数），爬取的内容出错（极大部分内容丢失，且爬取的不是目标内容）
　　；原因：request.add_data(value)这句代码，会造成数据持续叠加；出现BUG
　需要每次翻页时都请求服务器，才不会造成BUG出现。（此处理解不是很到位，不会说，望高手指正）
2.json.dumps()函数 ensure_ascii属性默认为True；当爬取的内容中含有中文时需要修改默认值。