Cookies与保持登录(新浪微博的简单模拟登录)
Cookies与保持登录(新浪微博的简单登录)
.note-content {font-family: "Helvetica Neue",Arial,"Hiragino Sans GB","STHeiti","Microsoft YaHei","WenQuanYi Micro Hei",SimSun,Song,sans-serif;}
.note-content h2 {line-height: 1.6; color: #0AA89E;}
.note-content {background: #FFFFFF;}
.note-content h1 {color: #7AB3A7;}
.note-content h3 {color: #147A67;}
Cookies与保持登录(新浪微博的简单登录)
Cookie(复数形态Cookies)
指某些网站为了辨别用户身份而储存在用户本地终端(Client Side)上的数据(通常经过加密)
保持登录机制
当我们登录一个网站的时候，网站往往会要求用户输入用户名和密码，并且可以勾选“下次自动登录”。而勾选了以后，下次访问同一网站时，用户会发现没输入用户名和密码就已经登陆了。这正是因为前一次登录时，服务器发送了包含登录凭据(用户名+密码的某种加密形式)的Cookie到用户硬盘上。第二次登录时，(如果该Cookie尚未到期)，那么浏览器就会发送该Cookie，服务器验证凭据，于是便不必再次输入。
(tips:一般对手机端的爬取比较简便，因为手机端的登录信息是会反映在url上的，也请注意危险)
Requests提交Cookies
关键代码如下：
1.cookie={"Cookie":"XXXXXXXXXXX"}
2.
3.Html=requests.get(url,cookies=cookie)
下面模拟登录新浪微博，
我们打开要爬取的网页http://weibo.cn/u/1890493665
发现会自动跳转到下面的登录页面，也就是说一定要登录才能查看内容
初始化代码：
文件名：spider_sina.py
1.#-*-coding;utf-8-*-
2.
3.import requests
4.from lxml import etree
5.from multiprocessing.dummy import Pool
6.
7.cook={"Cookie":""}
8.url='http://weibo.cn/u/1890493665'
9.html=requests.get(url).content
10.print html
输出：
1.[KANO@kelvin 桌面]$ python spider_sina.py
2.<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"><html xmlns="http://www.w3.org/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Cache-Control" content="no-cache"/><meta id="viewport" name="viewport" content="width=device-width,initial-scale=1.0,minimum-scale=1.0, maximum-scale=2.0" /><link rel="icon" sizes="any" mask href="http://h5.sinaimg.cn/upload/2015/05/15/28/WeiboLogoCh.svg" color="black"><meta name="MobileOptimized" content="240"/><title>微博</title><style type="text/css" id="internalStyle">html,body,p,form,div,table,textarea,input,span,select{font-size:12px;word-wrap:break-word;}body{background:#F8F9F9;color:#000;padding:1px;margin:1px;}table,tr,td{border-width:0px;margin:0px;padding:0px;}form{margin:0px;padding:0px;border:0px;}textarea{border:1px solid #96c1e6}textarea{width:95%;}a,.tl{color:#2a5492;text-decoration:underline;}/*a:link {color:#023298}*/.k{color:#2a5492;text-decoration:underline;}.kt{color:#F00;}.ib{border:1px solid #C1C1C1;}.pm,.pmy{clear:both;background:#ffffff;color:#676566;border:1px solid #b1cee7;padding:3px;margin:2px 1px;overflow:hidden;}.pms{clear:both;background:#c8d9f3;color:#666666;padding:3px;margin:0 1px;overflow:hidden;}.pmst{margin-top: 5px;}.pmsl{clear:both;padding:3px;margin:0 1px;overflow:hidden;}.pmy{background:#DADADA;border:1px solid #F8F8F8;}.t{padding:0px;margin:0px;height:35px;}.b{background:#e3efff;text-align:center;color:#2a5492;clear:both;padding:4px;}.bl{color:#2a5492;}.n{clear:both;background:#436193;color:#FFF;padding:4px; margin: 1px;}.nt{color:#b9e7ff;}.nl{color:#FFF;text-decoration:none;}.nfw{clear:both;border:1px solid #BACDEB;padding:3px;margin:2px 1px;}.s{border-bottom:1px dotted #666666;margin:3px;clear:both;}.tip{clear:both; background:#c8d9f3;color:#676566;border:1px solid #BACDEB;padding:3px;margin:2px 1px;}.tip2{color:#000000;padding:2px 3px;clear:both;}.ps{clear:both;background:#FFF;color:#676566;border:1px solid #BACDEB;padding:3px;margin:2px 1px;}.tm{background:#feffe5;border:1px solid #e6de8d;padding:4px;}.tm a{color:#ba8300;}.tmn{color:#f00}.tk{color:#ffffff}.tc{color:#63676A;}.c{padding:2px 5px;}.c div a img{border:1px solid #C1C1C1;}.ct{color:#9d9d9d;font-style:italic;}.cmt{color:#9d9d9d;}.ctt{color:#000;}.cc{color:#2a5492;}.nk{color:#2a5492;}.por {border: 1px solid #CCCCCC;height:50px;width:50px;}.me{color:#000000;background:#FEDFDF;padding:2px 5px;}.pa{padding:2px 4px;}.nm{margin:10px 5px;padding:2px;}.hm{padding:5px;background:#FFF;color:#63676A;}.u{margin:2px 1px;background:#ffffff;border:1px solid #b1cee7;}.ut{padding:2px 3px;}.cd{text-align:center;}.r{color:#F00;}.g{color:#0F0;}.bn{background: transparent;border: 0 none;text-align: left;padding-left: 0;}</style></head><body><div class="c">登录|<a href="http://weibo.cn/reg/index?backURL=http%3A%2F%2Fweibo.cn%2Fu%2F1890493665&backTitle=%E5%BE%AE%E5%8D%9A&vt=1&revalid=2&ns=1">注册</a><br/></div><div class="c">欢迎访问微博 <a href="http://weibo.cn/reg/faq?c=ttt&backURL=http%3A%2F%2Fweibo.cn%2Fu%2F1890493665&backTitle=%E5%BE%AE%E5%8D%9A&vt=1&revalid=2&ns=1">什么是微博？</a><br/><form action="?rand=2119825305&backURL=http%3A%2F%2Fweibo.cn%2Fu%2F1890493665&backTitle=%E5%BE%AE%E5%8D%9A&vt=1&revalid=2&ns=1" method="post"><div>手机号/电子邮箱/会员帐号:<br/><input type="text" name="mobile" size="30" value=""/><br/>密码:(<a href="/login/?backURL=http%3A%2F%2Fweibo.cn%2Fu%2F1890493665&backTitle=%E5%BE%AE%E5%8D%9A&vt=1&revalid=2&ns=1&pt=1">使用明文密码</a>)<br/><input type="password" name="password_5914" size="30" /><br/><input type="checkbox" name="remember" checked="checked" />记住登录状态，需支持并打开手机的cookie功能。<br/><input type="hidden" name="backURL" value="http%3A%2F%2Fweibo.cn%2Fu%2F1890493665" /><input type="hidden" name="backTitle" value="微博" /><input type="hidden" name="tryCount" value="" /><input type="hidden" name="vk" value="5914_3388_2042001234" /><input type="submit" name="submit" value="登录" /> <a href="http://weibo.cn/reg/forgetpwd?backURL=http%3A%2F%2Fweibo.cn%2Fu%2F1890493665&backTitle=%E5%BE%AE%E5%8D%9A&vt=1&revalid=2&ns=1">忘记密码</a><br/><div>使用合作网站帐号登录:<br/><table><tr><td><a href="http://weibo.cn/sinaurl?goto=http%3A%2F%2Fapi.open.uc.cn%2Fauthorize%3Fclient_id%3D20032%26redirect_uri%3Dhttp%253A%252F%252Flogin.weibo.cn%252Flogin%252Fuc_callback%253FbackURL%253Dhttp%25253A%25252F%25252Fweibo.cn%25252Fu%25252F1890493665%2526amp%253BbackTitle%253D%2525E5%2525BE%2525AE%2525E5%25258D%25259A%2526amp%253Bvt%253D1%2526amp%253Brevalid%253D2%2526amp%253Bns%253D1%26response_type%3Dcode&signUrl=79b8746996"><b>UC浏览器</b></a></td></tr></table></div>小提示：<br/>1、登录成功后保存任意页面为书签，下次通过书签访问，也可免去登录过程。<br/><span style="color:red">2、请不要直接通过手机浏览器的发送地址功能将登录后的页面地址发送给朋友，以免泄露个人信息及密码。</span><br/><img src="http://218.206.86.254/2008/match/c.gif?f=wap_reg" alt="" /></div></form></div></body></html>
输出虽然很乱，但是仍然能看到注册、手机号/电子邮箱/会员帐号、密码等字样，跟之前网页打开后看到的内容是一样的。
为了让我们的爬虫登录进微博，下面就要用到cookies了
打开wireshark开始抓包(也可以使用fiddler)
从网页登录一下，抓下来的数据可以发现cookie跟之前未登录的有了点变化
未登录的：
登陆后：
将登陆后的cookie复制到代码中，
1.#-*-coding;utf-8-*-
2.
3.import requests
4.from lxml import etree
5.from multiprocessing.dummy import Pool
6.
7.cook={"Cookie":"_T_WM=b286c1cd4b1c27608146a441a51c3b1b; SUB=XXXXXXXXXXXXXXXXX; gsid_CTandWM=XXXXXXXXXXXXXXXXXXXXXXXX"}
8.url='http://weibo.cn/u/1890493665'
9.html=requests.get(url,cookies=cook).content
10.print html
11.
运行一下，
1.[KANO@kelvin 桌面]$ python spider_sina.py
2.<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"><html xmlns="http://www.w3.org/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta http-equiv="Cache-Control" content="no-cache"/><meta id="viewport" name="viewport" content="width=device-width,initial-scale=1.0,minimum-scale=1.0, maximum-scale=2.0" /><link rel="icon" sizes="any" mask href="http://h5.sinaimg.cn/upload/2015/05/15/28/WeiboLogoCh.svg" color="black"><meta name="MobileOptimized" content="240"/><title>spring0315的微博</title><style type="text/css" id="internalStyle">html,body,p,form,div,table,textarea,input,span,select{font-size:12px;word-wrap:break-word;}body{background:#F8F9F9;color:#000;padding:1px;margin:1px;}table,tr,td{border-width:0px;margin:0px;padding:0px;}form{margin:0px;padding:0px;border:0px;}textarea{border:1px solid #96c1e6}textarea{width:95%;}a,.tl{color:#2a5492;text-decoration:underline;}/*a:link {color:#023298}*/.k{color:#2a5492;text-decoration:underline;}.kt{color:#F00;}.ib{border:1px solid #C1C1C1;}.pm,.pmy{clear:both;background:#ffffff;color:#676566;border:1px solid #b1cee7;padding:3px;margin:2px 1px;overflow:hidden;}.pms{clear:both;background:#c8d9f3;color:#666666;padding:3px;margin:0 1px;overflow:hidden;}.pmst{margin-top: 5px;}.pmsl{clear:both;padding:3px;margin:0 1px;overflow:hidden;}.pmy{background:#DADADA;border:1px solid #F8F8F8;}.t{padding:0px;margin:0px;height:35px;}.b{background:#e3efff;text-align:center;color:#2a5492;clear:both;padding:4px;}.bl{color:#2a5492;}.n{clear:both;background:#436193;color:#FFF;padding:4px; margin: 1px;}.nt{color:#b9e7ff;}.nl{color:#FFF;text-decoration:none;}.nfw{clear:both;border:1px solid #BACDEB;padding:3px;margin:2px 1px;}.s{border-bottom:1px dotted #666666;margin:3px;clear:both;}.tip{clear:both; background:#c8d9f3;color:#676566;border:1px solid #BACDEB;padding:3px;margin:2px 1px;}.tip2{color:#000000;padding:2px 3px;clear:both;}.ps{clear:both;background:#FFF;color:#676566;border:1px solid #BACDEB;padding:3px;margin:2px 1px;}.tm{background:#feffe5;border:1px solid #e6de8d;padding:4px;}.tm a{color:#ba8300;}.tmn{color:#f00}.tk{color:#ffffff}.tc{color:#63676A;}.c{padding:2px 5px;}.c div a img{border:1px solid #C1C1C1;}.ct{color:#9d9d9d;font-style:italic;}.cmt{color:#9d9d9d;}.ctt{color:#000;}.cc{color:#2a5492;}.nk{color:#2a5492;}.por {border: 1px solid #CCCCCC;height:50px;width:50px;}.me{color:#000000;background:#FEDFDF;padding:2px 5px;}.pa{padding:2px 4px;}.nm{margin:10px 5px;padding:2px;}.hm{padding:5px;background:#FFF;color:#63676A;}.u{margin:2px 1px;background:#ffffff;border:1px solid #b1cee7;}.ut{padding:2px 3px;}.cd{text-align:center;}.r{color:#F00;}.g{color:#0F0;}.bn{background: transparent;border: 0 none;text-align: left;padding-left: 0;}</style></head><body><div class="n" style="padding: 6px 4px;"><a href="http://weibo.cn/?tf=5_009" class="nl">首页</a>|<a href="http://weibo.cn/msg/?tf=5_010" class="nl">消息</a>|<a href="http://huati.weibo.cn" class="nl">话题</a>|<a href="http://weibo.cn/search/?tf=5_012" class="nl">搜索</a>|<a href="/u/1890493665?rand=5077&p=r" class="nl">刷新</a></div><div class="u"><table><tr><td valign="top"><a href="/1890493665/avatar?rl=0"><img src="http://tp2.sinaimg.cn/1890493665/50/40012608662/0" alt="头像" class="por" /></a></td><td valign="top"><div class="ut"><span class="ctt">spring0315 女/北京 <a href="/attention/add?uid=1890493665&rl=0&st=08d34c">加关注</a></span><br /><span class="ctt" style="word-break:break-all; width:50px;">做一个快乐、阳光的女汉子~~</span><br /><a href="/im/chat?uid=1890493665&rl=0">私信</a> <a href="/1890493665/info">资料</a> <a href="/1890493665/operation?rl=0">操作</a> <a href="/attgroup/special?fuid=1890493665&st=08d34c">特别关注</a> <a href="http://new.vip.weibo.cn/vippay/payother?present=1&action=comfirmTime&uid=1890493665">送Ta会员</a></div></td></tr></table><div class="tip2"><span class="tc">微博[395]</span> <a href="/1890493665/follow">关注[350]</a> <a href="/1890493665/fans">粉丝[62]</a> <a href="/attgroup/opening?uid=1890493665">分组[1]</a> <a href="/at/weibo?uid=1890493665">@她的</a></div></div><div class="u"><div class="tc tip2">我们都关注<a href="/u/1721030997">网易云音乐</a></div></div><div class="pmst"><span class="pms"> 微博 </span><span class="pmsl"> <a href="/1890493665/photo?tf=6_008">相册</a> </span></div><div class="pms" >全部-<a href="/u/1890493665?filter=1">原创</a>-<a href="/u/1890493665?filter=2">图片</a>-<a href="/attgroup/opening?uid=1890493665">分组</a>-<a href="/1890493665/search?f=u&rl=0">筛选</a></div><div class="c" id="M_D8SvTxPB1"><div><span class="cmt">转发了 <a href="http://weibo.cn/lxhjx">冷笑话精选</a><img src="http://u1.sinaimg.cn/upload/h5/img/hyzs/donate_btn_s.png" alt="M"/> 的微博:</span><span class="ctt">外国一个姑娘讲述她在购物时经历的一件事 ，听哭了。“你永远不知道别人经历了什么，人生有时候很艰难，尊重别人也是尊重自己”[悲伤]<a href="http://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FR4hPlJR&ep=D8SvTxPB1%2C1890493665%2CD7uPtBAvR%2C1644395354">http://t.cn/R4hPlJR</a></span> <span class="cmt">赞[19467]</span> <span class="cmt">原文转发[34546]</span> <a href="http://weibo.cn/comment/D7uPtBAvR?rl=0#cmtfrm" class="cc">原文评论[3057]</a><!----></div><div><span class="cmt">转发理由:</span>转发微博 <a href="http://weibo.cn/attitude/D8SvTxPB1/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/D8SvTxPB1?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/D8SvTxPB1?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/D8SvTxPB1?rl=0&st=08d34c">收藏</a><!----> <span class="ct">12月17日 22:08 来自iPhone 6s</span></div></div><div class="s"></div><div class="c" id="M_D3bBk5mEu"><div><span class="ctt">[礼物]这个双11极客学院最惠玩儿，促销来得最直接！[强]VIP不止买一送一哦，11.11当天还送小米插线板！我已参加，你呢？大促仅限3天，错过不要怪我咯~[微笑] <a href="http://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRUxzrfS&ep=D3bBk5mEu%2C1890493665%2CD3bBk5mEu%2C1890493665">http://t.cn/RUxzrfS</a> </span></div><div><a href="http://weibo.cn/mblog/pic/D3bBk5mEu?rl=0"><img src="http://ww3.sinaimg.cn/wap180/70aea4e1jw1exvqajefr9j20fu08cdim.jpg" alt="图片" class="ib" /></a> <a href="http://weibo.cn/mblog/oripic?id=D3bBk5mEu&u=70aea4e1jw1exvqajefr9j20fu08cdim">原图</a> <a href="http://weibo.cn/attitude/D3bBk5mEu/add?uid=3213737797&rl=0&st=08d34c">赞[1]</a> <a href="http://weibo.cn/repost/D3bBk5mEu?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/D3bBk5mEu?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/D3bBk5mEu?rl=0&st=08d34c">收藏</a><!----> <span class="ct">11月10日 11:41 来自分享按钮</span></div></div><div class="s"></div><div class="c" id="M_D1NKLlHK1"><div><span class="cmt">转发了 <a href="http://weibo.cn/133814250">逗比</a><img src="http://u1.sinaimg.cn/upload/2011/07/28/5338.gif" alt="V"/><img src="http://u1.sinaimg.cn/upload/h5/img/hyzs/donate_btn_s.png" alt="M"/> 的微博:</span><span class="ctt">最近油管上超火的Tez Cadey - Seve Mongolian Guys舞步分解，好酷好想学！<a href="http://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRyXJF5P&ep=D1NKLlHK1%2C1890493665%2CD1MUUpC8Z%2C5252019885">http://t.cn/RyXJF5P</a></span> <span class="cmt">赞[419]</span> <span class="cmt">原文转发[436]</span> <a href="http://weibo.cn/comment/D1MUUpC8Z?rl=0#cmtfrm" class="cc">原文评论[39]</a><!----></div><div><span class="cmt">转发理由:</span>转发微博 <a href="http://weibo.cn/attitude/D1NKLlHK1/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/D1NKLlHK1?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/D1NKLlHK1?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/D1NKLlHK1?rl=0&st=08d34c">收藏</a><!----> <span class="ct">11月01日 09:08 来自<a href="http://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Fwap.baoruan.com%2Fweibo%2Fdefault%2Fsystem%2Fsoft_id%2F1%2Fmid%2F0%3Fsid%3D1">iPad客户端</a></span></div></div><div class="s"></div><div class="c" id="M_D1EfzbO6S"><div><span class="cmt">转发了 <a href="http://weibo.cn/u/3785688681">最神奇的视频菌</a><img src="http://u1.sinaimg.cn/upload/2011/07/28/5338.gif" alt="V"/><img src="http://u1.sinaimg.cn/upload/h5/img/hyzs/donate_btn_s.png" alt="M"/> 的微博:</span><span class="ctt">如何将一间39平米的公寓改造为集八间独立功能的房间于一身？简直吊炸天！<a href="http://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRykoB1r&ep=D1EfzbO6S%2C1890493665%2CD1D9IeqQv%2C3785688681">http://t.cn/RykoB1r</a></span> <span class="cmt">赞[42]</span> <span class="cmt">原文转发[81]</span> <a href="http://weibo.cn/comment/D1D9IeqQv?rl=0#cmtfrm" class="cc">原文评论[8]</a><!----></div><div><span class="cmt">转发理由:</span>转发微博 <a href="http://weibo.cn/attitude/D1EfzbO6S/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/D1EfzbO6S?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/D1EfzbO6S?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/D1EfzbO6S?rl=0&st=08d34c">收藏</a><!----> <span class="ct">10月31日 08:57 来自<a href="http://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Fwap.baoruan.com%2Fweibo%2Fdefault%2Fsystem%2Fsoft_id%2F1%2Fmid%2F0%3Fsid%3D1">iPad客户端</a></span></div></div><div class="s"></div><div class="c" id="M_CEKow6iaG"><div><span class="cmt">转发了 <a href="http://weibo.cn/u/5594224313">十点读书会</a><img src="http://u1.sinaimg.cn/upload/h5/img/hyzs/donate_btn_s.png" alt="M"/> 的微博:</span><span class="ctt">【转发赠书】<a href="http://weibo.cn/pages/100808topic?extparam=%E6%AF%8F%E5%BD%93%E6%88%91%E6%89%BE%E5%88%B0%E7%94%9F%E5%91%BD%E7%9A%84%E6%84%8F%E4%B9%89%EF%BC%8C%E5%AE%83%E5%B0%B1%E5%8F%88%E5%8F%98%E4%BA%86&from=feed">#每当我找到生命的意义，它就又变了#</a>这不是一本书，而是一个哲学摘抄本。字迹潦草或抄写工整，如何生活的问题在其中活蹦乱跳。从伊壁鸠鲁到尼采，从叔本华到萨特，《纽约时报》超级畅销书作家丹尼尔·克莱恩用39条哲学金句揭示生命意义。转发并关注<a href="/n/%E5%8D%81%E7%82%B9%E8%AF%BB%E4%B9%A6%E4%BC%9A">@十点读书会</a>，送15本，10.14截止。</span></div><div><a href="http://weibo.cn/mblog/pic/CEJt6AIce?rl=0"><img src="http://ww3.sinaimg.cn/wap180/0066ANipgw1ewy6g465erj30yl1fwaid.jpg" alt="图片" class="ib" /></a> <a href="http://weibo.cn/mblog/oripic?id=CEJt6AIce&u=0066ANipgw1ewy6g465erj30yl1fwaid">原图</a> <span class="cmt">赞[150]</span> <span class="cmt">原文转发[2224]</span> <a href="http://weibo.cn/comment/CEJt6AIce?rl=0#cmtfrm" class="cc">原文评论[607]</a><!----></div><div><span class="cmt">转发理由:</span><a href="/n/%E5%8D%81%E7%82%B9%E8%AF%BB%E4%B9%A6%E4%BC%9A">@十点读书会</a> <a href="http://weibo.cn/attitude/CEKow6iaG/add?uid=3213737797&rl=0&st=08d34c">赞[1]</a> <a href="http://weibo.cn/repost/CEKow6iaG?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/CEKow6iaG?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/CEKow6iaG?rl=0&st=08d34c">收藏</a><!----> <span class="ct">10月12日 13:33 来自微博搜索</span></div></div><div class="s"></div><div class="c" id="M_CEKku9MWT"><div><span class="cmt">转发了 <a href="http://weibo.cn/u/5594224313">十点读书会</a><img src="http://u1.sinaimg.cn/upload/h5/img/hyzs/donate_btn_s.png" alt="M"/> 的微博:</span><span class="ctt">【转发赠书】很多人在二三十岁就死了，只不过八十岁才埋葬。《别让我们在二三十岁就死去》无数台湾学生酣畅点赞的【人渣文本】.不管你是渣是霸,这本由【最具炫酷态度的台湾老师】周伟航所著,<a href="http://weibo.cn/pages/100808topic?extparam=%E9%AB%98%E5%90%AB%E9%87%8F+%E6%99%BA%E8%AF%86%E4%B8%8E%E5%B0%8A%E9%87%8D&from=feed">#高含量 智识与尊重#</a>的人生热血使用指南送给还年轻着的你.转发并关注<a href="/n/%E5%8D%81%E7%82%B9%E8%AF%BB%E4%B9%A6%E4%BC%9A">@十点读书会</a>,15本随机送,10.12日晚截止.</span></div><div><a href="http://weibo.cn/mblog/pic/CEqe6uGKr?rl=0"><img src="http://ww1.sinaimg.cn/wap180/0066ANipgw1ewvti9elqrj30fe0mbtcw.jpg" alt="图片" class="ib" /></a> <a href="http://weibo.cn/mblog/oripic?id=CEqe6uGKr&u=0066ANipgw1ewvti9elqrj30fe0mbtcw">原图</a> <span class="cmt">赞[189]</span> <span class="cmt">原文转发[2647]</span> <a href="http://weibo.cn/comment/CEqe6uGKr?rl=0#cmtfrm" class="cc">原文评论[652]</a><!----></div><div><span class="cmt">转发理由:</span>求书！想看～<a href="/n/%E5%8D%81%E7%82%B9%E8%AF%BB%E4%B9%A6%E4%BC%9A">@十点读书会</a> <a href="http://weibo.cn/attitude/CEKku9MWT/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/CEKku9MWT?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/CEKku9MWT?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/CEKku9MWT?rl=0&st=08d34c">收藏</a><!----> <span class="ct">10月12日 13:23 来自微博搜索</span></div></div><div class="s"></div><div class="c" id="M_CEK3esIYX"><div><span class="cmt">转发了 <a href="http://weibo.cn/dajiewang">大街网</a><img src="http://u1.sinaimg.cn/upload/2011/07/28/5337.gif" alt="V"/><img src="http://u1.sinaimg.cn/upload/h5/img/hyzs/donate_btn_s.png" alt="M"/> 的微博:</span><span class="ctt">【9个做人的硬道理[群体围观]】①只有小聪明永远无法超人一等； ②多点看问题，就不会有死路；③绝不说不该说的话；④用心做可能改变一生的事； ⑤想尽一切办法不与上司磕绊；⑥培养优良个性即对自己负责任；⑦为人坦诚但不能不分对象；⑧总与人较劲，等于给自己留后患；⑨做大自己，低头走稳每一步。</span></div><div><a href="http://weibo.cn/mblog/pic/CEK1z20Mj?rl=0"><img src="http://ww3.sinaimg.cn/wap180/67923cbajw1ewy8tbjoevj20go09d3zj.jpg" alt="图片" class="ib" /></a> <a href="http://weibo.cn/mblog/oripic?id=CEK1z20Mj&u=67923cbajw1ewy8tbjoevj20go09d3zj">原图</a> <span class="cmt">赞[20]</span> <span class="cmt">原文转发[31]</span> <a href="http://weibo.cn/comment/CEK1z20Mj?rl=0#cmtfrm" class="cc">原文评论[0]</a><!----></div><div><span class="cmt">转发理由:</span>转发微博 <a href="http://weibo.cn/attitude/CEK3esIYX/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/CEK3esIYX?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/CEK3esIYX?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/CEK3esIYX?rl=0&st=08d34c">收藏</a><!----> <span class="ct">10月12日 12:40 来自微博 weibo.com</span></div></div><div class="s"></div><div class="c" id="M_CEDklsiZk"><div><span class="cmt">转发了 <a href="http://weibo.cn/OUAIMYLAOPO">名言金句</a><img src="http://u1.sinaimg.cn/upload/h5/img/hyzs/donate_btn_s.png" alt="M"/> 的微博:</span><span class="ctt">这句话很有意思：“如果我们感情变了怎么办？”“分手，我重新追你。”[嘻嘻]</span></div><div><a href="http://weibo.cn/mblog/pic/CECOwaMHa?rl=0"><img src="http://ww3.sinaimg.cn/wap180/bf5a83fdgw1ewxd2ttk9aj208w0a2glw.jpg" alt="图片" class="ib" /></a> <a href="http://weibo.cn/mblog/oripic?id=CECOwaMHa&u=bf5a83fdgw1ewxd2ttk9aj208w0a2glw">原图</a> <span class="cmt">赞[415]</span> <span class="cmt">原文转发[688]</span> <a href="http://weibo.cn/comment/CECOwaMHa?rl=0#cmtfrm" class="cc">原文评论[74]</a><!----></div><div><span class="cmt">转发理由:</span>//<a href="/n/%E7%A9%B7%E6%B8%B8%E6%97%85%E8%A1%8C%E5%AE%B6">@穷游旅行家</a>: [爱你] <a href="http://weibo.cn/attitude/CEDklsiZk/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/CEDklsiZk?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/CEDklsiZk?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/CEDklsiZk?rl=0&st=08d34c">收藏</a><!----> <span class="ct">10月11日 19:33 来自微博 weibo.com</span></div></div><div class="s"></div><div class="c" id="M_CErpRztmv"><div><span class="ctt">要劵 [嘻嘻]<a href="/n/%E4%B8%80%E7%B1%B3%E9%B2%9C">@一米鲜</a></span> <a href="http://weibo.cn/attitude/CErpRztmv/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/CErpRztmv?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/CErpRztmv?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/CErpRztmv?rl=0&st=08d34c">收藏</a><!----> <span class="ct">10月10日 13:14 来自微博 weibo.com</span></div></div><div class="s"></div><div class="c" id="M_CErlsg75B"><div><span class="cmt">转发了 <a href="http://weibo.cn/dangdangbook">当当读书汇</a><img src="http://u1.sinaimg.cn/upload/2011/07/28/5337.gif" alt="V"/> 的微博:</span><span class="ctt"><a href="http://weibo.cn/pages/100808topic?extparam=%E5%8F%91%E7%8E%B0%E6%96%B0%E9%B2%9C&from=feed">#发现新鲜#</a>幸福其实很简单：有人爱； 有事做；有所期待。今天，你幸福吗？<a href="http://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRy4Deiq&ep=CErlsg75B%2C1890493665%2CCC8Jw7Vok%2C2150424452">http://t.cn/Ry4Deiq</a></span> [<a href="http://weibo.cn/mblog/picAll/CC8Jw7Vok?rl=1">组图共9张</a>]</div><div><a href="http://weibo.cn/mblog/pic/CC8Jw7Vok?rl=0"><img src="http://ww2.sinaimg.cn/wap180/802cdf84jw1ewdr84ettzj20c80hbjv6.jpg" alt="图片" class="ib" /></a> <a href="http://weibo.cn/mblog/oripic?id=CC8Jw7Vok&u=802cdf84jw1ewdr84ettzj20c80hbjv6">原图</a> <span class="cmt">赞[20]</span> <span class="cmt">原文转发[22]</span> <a href="http://weibo.cn/comment/CC8Jw7Vok?rl=0#cmtfrm" class="cc">原文评论[4]</a><!----></div><div><span class="cmt">转发理由:</span>转发微博 <a href="http://weibo.cn/attitude/CErlsg75B/add?uid=3213737797&rl=0&st=08d34c">赞[0]</a> <a href="http://weibo.cn/repost/CErlsg75B?uid=1890493665&rl=0">转发[0]</a> <a href="http://weibo.cn/comment/CErlsg75B?uid=1890493665&rl=0#cmtfrm" class="cc">评论[0]</a> <a href="http://weibo.cn/fav/addFav/CErlsg75B?rl=0&st=08d34c">收藏</a><!----> <span class="ct">10月10日 13:03 来自微博 weibo.com</span></div></div><div class="s"></div><div class="pa" id="pagelist"><form action="/u/1890493665" method="post"><div><a href="/u/1890493665?page=2">下页</a> <input name="mp" type="hidden" value="40" /><input type="text" name="page" size="2" style='-wap-input-format: "*N"' /><input type="submit" value="跳页" /> 1/40页</div></form></div><div class="pm"><form action="/search/" method="post"><div><input type="text" name="keyword" value="" size="15" /><input type="submit" name="smblog" value="搜微博" /><input type="submit" name="suser" value="找人" /><br/><span class="pmf"><a href="/search/mblog/?keyword=GD%E5%A4%9C%E5%BA%97&rl=0" class="k">GD夜店</a> <a href="/search/mblog/?keyword=%E6%98%8E%E6%98%9F%E5%8A%BF%E5%8A%9B%E6%A6%9C&rl=0" class="k">明星势力榜</a> <a href="/search/mblog/?keyword=%E4%BA%86%E4%B8%8D%E8%B5%B7%E7%9A%84%E6%8C%91%E6%88%98&rl=0" class="k">了不起的挑战</a> <a href="/search/mblog/?keyword=%E7%94%B7%E5%AD%90%E5%81%87%E6%89%AE%E9%9F%A9%E6%98%9F%E5%BC%95%E5%9B%B4%E8%A7%82&rl=0" class="k">男子假扮韩星引围观</a> <a href="/search/mblog/?keyword=%E7%8E%8B%E4%BF%8A%E5%87%AF%E7%A5%9E%E7%BA%A7%E5%BC%80%E6%8C%82%E7%9A%84%E5%AE%9E%E5%8A%9B&rl=0" class="k">王俊凯神级开挂的实力</a></span></div></form></div><div class="cd"><a href="#top"><img src="http://u1.sinaimg.cn/3g/image/upload/0/62/203/18979/5e990ec2.gif" alt="TOP"/></a></div><div class="pms"> <a href="http://weibo.cn">首页</a>.<a href="http://weibo.cn/topic/240489">反馈</a>.<a href="http://weibo.cn/page/91">帮助</a>.<a href="http://down.sina.cn/weibo/default/index/soft_id/1/mid/0" >客户端</a>.<a href="http://weibo.cn/spam/?rl=0&type=3&fuid=1890493665" class="kt">举报</a>.<a href="http://passport.sina.cn/sso/logout?r=http%3A%2F%2Fweibo.cn%2Fpub%2F%3Fvt%3D&entry=mweibo">退出</a></div><div class="c">设置:<a href="http://weibo.cn/account/customize/skin?tf=7_005&st=08d34c">皮肤</a>.<a href="http://weibo.cn/account/customize/pic?tf=7_006&st=08d34c">图片</a>.<a href="http://weibo.cn/account/customize/pagesize?tf=7_007&st=08d34c">条数</a>.<a href="http://weibo.cn/account/privacy/?tf=7_008&st=08d34c">隐私</a></div><div class="c">彩版|<a href="http://m.weibo.cn/?tf=7_010">触屏</a>|<a href="http://weibo.cn/page/521?tf=7_011">语音</a></div><div class="b">weibo.cn[12-20 15:38]</div></body></html>
发现好像登陆成功，尝试对页面进行xpath分析
在代码中修改后面几行
1.html=requests.get(url,cookies=cook).content
2.#print html
3.
4.selector=etree.HTML(html)
5.content=selector.xpath('//span[@class="ctt"]')
6.for each in content:
7. text=each.xpath('string(.)')
8. b=1
9. print text
输出结果：
1.[KANO@kelvin 桌面]$ python spider_sina.py
2.spring0315 女/北京 加关注
3.做一个快乐、阳光的女汉子~~
4.外国一个姑娘讲述她在购物时经历的一件事 ，听哭了。“你永远不知道别人经历了什么，人生有时候很艰难，尊重别人也是尊重自己”[悲伤]http://t.cn/R4hPlJR
5.[礼物]这个双11极客学院最惠玩儿，促销来得最直接！[强]VIP不止买一送一哦，11.11当天还送小米插线板！我已参加，你呢？大促仅限3天，错过不要怪我咯~[微笑] http://t.cn/RUxzrfS
6.最近油管上超火的Tez Cadey - Seve Mongolian Guys舞步分解，好酷好想学！http://t.cn/RyXJF5P
7.如何将一间39平米的公寓改造为集八间独立功能的房间于一身？简直吊炸天！http://t.cn/RykoB1r
8.【转发赠书】#每当我找到生命的意义，它就又变了#这不是一本书，而是一个哲学摘抄本。字迹潦草或抄写工整，如何生活的问题在其中活蹦乱跳。从伊壁鸠鲁到尼采，从叔本华到萨特，《纽约时报》超级畅销书作家丹尼尔·克莱恩用39条哲学金句揭示生命意义。转发并关注@十点读书会，送15本，10.14截止。
9.【转发赠书】很多人在二三十岁就死了，只不过八十岁才埋葬。《别让我们在二三十岁就死去》无数台湾学生酣畅点赞的【人渣文本】.不管你是渣是霸,这本由【最具炫酷态度的台湾老师】周伟航所著,#高含量 智识与尊重#的人生热血使用指南送给还年轻着的你.转发并关注@十点读书会,15本随机送,10.12日晚截止.
10.【9个做人的硬道理[群体围观]】①只有小聪明永远无法超人一等； ②多点看问题，就不会有死路；③绝不说不该说的话；④用心做可能改变一生的事； ⑤想尽一切办法不与上司磕绊；⑥培养优良个性即对自己负责任；⑦为人坦诚但不能不分对象；⑧总与人较劲，等于给自己留后患；⑨做大自己，低头走稳每一步。
11.这句话很有意思：“如果我们感情变了怎么办？”“分手，我重新追你。”[嘻嘻]
12.要劵 [嘻嘻]@一米鲜
13.#发现新鲜#幸福其实很简单：有人爱； 有事做；有所期待。今天，你幸福吗？http://t.cn/Ry4Deiq
14.
跟网页的文字内容一致，爬取成功
另外如果要使用text而不使用content，需要再加一行代码把字符转换成byte型数据
1.html=requests.get(url,cookies=cook).text
2.
3.html=bytes(bytearray(html,encoding='utf-8'))
4.
Cookies与保持登录(新浪微博的简单模拟登录)的更多相关文章
- 创建Cookie，简单模拟登录，记录登录名，购物车记录先前添加内容，session控制登录
工作任务:模拟淘宝登录和购物车功能:使用cookie记录登录名,下次登录时能够记得上次的登录名,使用cookie模拟购物车功能,使用session记住登录信息并验证是否登录,防止利用url打开网站, ...
- PHP简单模拟登录功能实例分享
1.curl实现模拟登录的代码,(只是实现服务器与服务器建立会话,其实并没有在客户端与服务器之间建立会话) <?php $cookie_jar = tempnam('./tmp','cookie ...
- 模拟登录新浪微博（Python) - 转
Update: 如果只是写个小爬虫,访问需要登录的页面,采用填入cookie 的方法吧,简单粗暴有效,详细见:http://www.douban.com/note/264976536/模拟登陆有时需要 ...
- Python模拟登录淘宝
最近想爬取淘宝的一些商品,但是发现如果要使用搜索等一些功能时基本都需要登录,所以就想出一篇模拟登录淘宝的文章!看了下网上有很多关于模拟登录淘宝,但是基本都是使用scrapy.pyppeteer.sel ...
- Python手动构造Cookie模拟登录后获取网站页面内容
最近有个好友让我帮忙爬取个小说,这个小说是前三十章直接可读,后面章节需要充值VIP可见.所以就需要利用VIP账户登录后,构造Cookie,再用Python的获取每章节的url,得到内容后再使用 PyQ ...
- 使用scrapy框架模拟登录
scrapy模拟登录 注意:模拟登陆时,必须保证settings.py里的COOKIES_ENABLED(Cookies中间件) 处于开启状态 COOKIES_ENABLED = True 或# CO ...
- Scrapy模拟登录赶集网
1.打开赶集网登录界面,先模拟登录并抓包,获得post请求的request参数 2. 我们只需构造出上面的参数传入formdata即可 参数分析: setcookie:为自动登录所传的值,不勾选时默认 ...
- 测试开发Python培训：模拟登录新浪微博-技术篇
测试开发Python培训:模拟登录新浪微博-技术篇 一般一个初学者项目的起点就是登陆功能的自动化,而面临的项目不同实现的技术难度是不一样的,poptest在做测试开发培训中更加关注技术难点,掌握技 ...
- PhantomJS实现最简单的模拟登录方案
以前写爬虫,遇到需要登录的页面,一般都是通过chrome的检查元素,查看登录需要的参数和加密方法,如果网站的加密非常复杂,例如登录qq的,就会很蛋疼 在后面,有了Pyv8,就可以把加密的js文件扔给它 ...
随机推荐
- jQuery Tags Input Plugin 插件的使用
一个jquery开发的标签功能加强插件,可以生成或删除标签,还能对输入重复标签进行检查,和JQuery autocomplete插件配合实现自动完成功能. 官网:http://xoxco.com/pr ...
- .net 生成缩略图
public static void CreateSmallImage(string minImageFullPath, System.Drawing.Image originalImage, int ...
- Why AIXTHREAD_SCOPE Should Be Set To 'S' On AIX
In a multi-processor environment running on an AIX platform, if you are intending to use multi-threa ...
- (转)C# WinForm中 获得当前鼠标所在控件 或 将窗体中鼠标所在控件名显示在窗体标题上
原文地址:http://www.cnblogs.com/08shiyan/archive/2011/04/14/2015758.html /********************** * 课题:将窗 ...
- HTML3层叠样式表
层叠样式表:CSS Cascading Style Sheet.V2.1 控制页面样式外观. 一.样式表分三类: 1.内联样式表.--放在元素的开始标记中.--只对当前元素起作用. <in ...
- node学习第一篇
创建一个http服务器 //app.js var http = require("http"); function start(req, res){ //res.writeHead ...
- JS函数——作用域
一 : 作用域的相关概念 首先看下 变量作用域 的概念:一个变量的作用域是程序源代码中定义这个变量的区域.————————<javascript权威指南>第六版全局变量拥有全局作用域,函数 ...
- [string]Roman to Integer,Integer to Roman
一.Roman to Integer Given a roman numeral, convert it to an integer. Input is guaranteed to be within ...
- Android_高仿建行圆形菜单
转:http://blog.csdn.net/lmj623565791/article/details/43131133 1.概述 今天打开建行看存款,一看伤心欲绝,再看:我擦,这个圆形菜单挺炫.于是 ...
- Python之路第五天，基础(6)-模块
模块 模块,用一砣代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合.而对于一个复杂的功能来,可能需要多个 ...