spider（一）

此爬虫内容无架构：

1.URL管理器：用集合，mysql表，缓存等

2.网页下载器：实现网页下载，

　　urllib2：官方基础模块

　　requests：三方的（更强）：伪装成浏览器访问，代理登录，https加密访问等

3.页面解析器：

　　正则

　　html.parser解析器模块

　　lxml 解析器

 soup = BeautifulSoup(html,"lxml")

 print soup.a
 print "+++"
 print soup.a.string
 print "+++"
 print type(soup.a.string)   # <class 'bs4.element.NavigableString'>

第一行：将 html.text 用 lxml 解析，后赋值给soup变量

第三行：打印出搜索到的第一个 a 标签（即a节点）

第五行：打印出 a 标签内的文字。

获取标签 dl 所有的直接子节点：
1 for i in soup.dl.contents:
     print i
     print "++++++++++++++++"

# soup.dl.contents  ：返回其下所有节点（列表方式）

# soup.dl.children  ：遍历才能获得内容

获取节点的内容：用 soup.dl.strings

 for string in soup.dl.strings:
       print repr(string)

查找内容：

 print soup.find_all('dt')  #返回列表，里面包括了所有的 dt 标签
 print soup.select("dt")    #同上，，[<dt>Mutation ID</dt>, <dt>Gene name</dt>, <dt>Remark</dt>, <dt>Recurrent</dt>, <dt>Drug resistance</dt>]
 print soup.select(".inline > dd")  #精准定位，查找 dd 标签

print soup.select("dt").get_text()  # AttributeError: 'list' object has no attribute 'get_text'

用 get_text() 方法，获取里面的文字。

 for dt in soup.select(".inline > dt"):
     print dt.get_text()
     print "++++++++++++++++++" #每获取一个 dt 里面的文字，打印一次这行，结果如下：

 Mutation ID
 ++++++++++++++++++
 Gene name
 ++++++++++++++++++
 AA mutation
 ++++++++++++++++++

显示搜索对象下所有的文字：
1 for dt in soup.select(".inline"):
     print dt.get_text()
     print '**********************' # 会在显示完 .inline 下面 所有的递归子标签里的文字后，打印一次本行。本例中只打印了一次。也就是本遍历值遍历了一个，已验证

其他关于 find_all() 和 select()

 soup.find_all('a') # 找到所有 a 标签，遍历取出
 soup.find_all(['a','b']) #任意匹配一个即可返回，
 soup.find_all(id = "...") #根据 id 号码查找
 soup.find_all("a",class_="...") #查找固定 class 的 a 标签
 soup.find_all("a",limit=2) # 限制搜索到的 a 标签的个数，只要前两个
 soup.find_all("p",recursive=False) # 只搜索 返回直接子节点。

 soup.select("a") #搜索所有 a 标签
 soup.select("#idname") # 根据 id 名搜索
 soup.select(".classname") # 根据 class 搜索
 soup.select(".classname > p > a > ...") # 精准搜索
 soup.select("p a[class="..."]") # 搜索 p 标签下的 class为...的 a 标签

14 node.get_text()  # 获取节点的文字
 .select(a[href='...']) # 获取节点的 href 属性
 node.name # 获取节点的 名字