python简单爬虫(一)

　　学习python前纠结了下，到底是应该一个个知识点吃透，然后写些小程序。还是应该快速掌握基础语法，快速实践。思考后认为前者这么学习速度真心不高，于是花2天时间看了下python3的语法，虽然很多都不明白，但是带着小项目来学习直接解决问题。在项目中遇到问题，查阅一点点解决，这样很靠谱。

　　在实现一个最简单的爬虫前，应该知道需要用到哪些东西?

　　1.如果发送一个http请求，来抓取网页内容。

　　2.如何方便的解析html的dom节点，如果有像phpquery这样的工具包就太简单了。

　　百度了下发现 urlib模块能解决第一个问题，BeautifulSoup模块能解决第二个问题

　　urlib3模块简单使用　　

 import urllib3

 #请求的地址
 url = 'https://www.baidu.com/'

 http = urllib3.PoolManager()
 r = http.request('GET',url)

 print(r.status)     #请求状态码
 print(r.data)       #获取内容

　　需要注意的是打印出内容(r.data)发现尼玛， 总是有个 b' 这样的东西在字符串最前面。google下发先大致是说，python默认字符是ascii,但是请求的网页编码是utf8字符的，获取的内容需要转成

utf8字符集然后在输出，可以这么干。

print(r.data.decode('utf-8'))

　　然后重新运行发现大功告成。

　　再来看下BeautifulSoup模块,其实挺简单的就和jquery操作dom类似，具体看文档即可.

　　

 from bs4 import BeautifulSoup
 import re #正则

 str = '''
       <div class="menu">
     <ul class="main-menu">
         <li class="first-menu"><a href="/index.php?m=Admin&c=Goods&a=index&typelist=1">品牌商管理</a></li>
         <li class="first-menu"><a href="javascript:;">商品管理</a></li>
         <li class="first-menu"><a href="/index.php?m=Admin&c=MyDistribution&a=index">分销平台</a></li>
         <li class="first-menu">
             <a href="javascript:;">消息中心</a>
             <ul class="sub-menu clearfix">
                 <li><a href="/index.php?m=Admin&c=News&a=businessNewsList">商家公告</a></li>
                 <li><a href="/index.php?m=Admin&c=Distribution&a=distributionList">申请分销</a></li>
                 <li><a href="/index.php?m=Admin&c=Message&a=chatMessageList">聊天消息</a></li>
                 <li><a href="/index.php?m=Admin&c=System&a=systemNewsList">系统公告</a></li>
             </ul>
         </li>
         <li class="first-menu"><a href="javascript:;">嗨库社区</a></li>
         <li class="first-menu"><a href="javascript:;">我的设置</a></li>
     </ul>
 </div>
 '''

 soup = BeautifulSoup(str,'html.parser',from_encoding='utf-8')

 print('获取所有的链接')
 links= soup.find_all('a'); #list
 for a in links:
     print(a),print(a['href']) #获取ａ标签，和属性href

 print('获取href为 /index.php?m=Admin&c=Goods&a=index&typelist=1的url')
 links = soup.find('a',href="/index.php?m=Admin&c=Goods&a=index&typelist=1")
 print(links.name,links['href'],links.get_text())

 print('通过class属性')
 links = soup.find('ul',class_='main-menu')
 print(links)

 print('正则匹配')
 links = soup.find_all('a',href=re.compile(r"List")) #　加r -> 要转义\只需要写成 \\即可 ， 不然要写成\\\
 print(links)

　　最后结合２个模块来实现，获取抓取页面的 a标签的href

 from bs4 import BeautifulSoup
 import re #正则
 import urllib.parse
 import urllib3

 r_url = 'http://baike.baidu.com/link?url=41wW1kkRvhT23i_c6258EtBeBv6Xwtz7gwd3t0q5k-xCs_ipCGRc_ixcCLMail3QtQe4ZRgOK83ek9aHm44QPa'

 #发送请求获取内容
 http = urllib3.PoolManager()
 r = http.request('GET',r_url)

 str = data = r.data.decode('utf-8')

 '''
 #挽尊学习法，先发获取的内容生成文件，看下到底是什么
 f = open('2.html','w')
 f.write(data.decode('utf-8'))
 f.close()
 '''

 soup = BeautifulSoup(str,'html.parser',from_encoding='utf-8')
 #通过正则获取所有href 为 　/view/123/456.htm 这样的链接
 links = soup.find_all('a',href=re.compile(r'/view/[\d/]+\.htm'))  #　加r -> \只需要一个 \转义 ，　不然要写成\\\

 for url in links:
     new_url = url['href']
     '''
     将 r_url的域名-> http://baike.baidu.com
     和 新的url ->  /view/123/456.htm　组装起来
     '''
     new_full_url = urllib.parse.urljoin(r_url,new_url) #http://baike.baidu.com/view/123/456.htm
     print(new_full_url)

　　参考：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

　　　　　http://urllib3.readthedocs.io/en/latest/