爬取目标网址 ：   http://music.163.com/#/song?id=409649818

需要爬取信息 ：   网易云top13热评

使用之前的 HttpURLConnection 获取网页源码，经过分析发现，在源码中并没有热评信息

 package bok;

 import java.io.BufferedReader;

 import java.io.InputStreamReader;

 import java.net.HttpURLConnection;

 import java.net.URL;

 public class GC {

     public static void main(String[] args) throws Exception{

         URL url = new URL("http://music.163.com/#/song?id=409649818") ;

         HttpURLConnection httpURLConnection = (HttpURLConnection)url.openConnection() ;

         String get = "" ;

         if(httpURLConnection.getResponseCode()==200){

             BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(httpURLConnection.getInputStream(),"UTF-8")) ;

             String read ;

             while(((read=bufferedReader.readLine()))!=null){

                 get+=read+="\r\n" ;

             }

             System.out.println(get);

         }

     }

 }

部分源码如下：

 {/if}

 {else}

 <span class="u-icn u-icn-75"></span>

 {/if}

 </div>

 </div>

 </td>

 <td class="">

 <div class="f-cb">

 <div class="tt">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <div class="ttc">

 <span class="txt">

 {var alia=songAlia(x)}

 <a href="/song?id=${x.id}"><b title="${x.name|escape}{if alia} - (${alia|escape}){/if}">${soil(x.name)}</b></a>{if alia}<span title="${alia|escape}" class="s-fc8"> - (${soil(alia)})</span>{/if}

 {if x.mvid>0}

 <span data-res-id="${x.id}" data-res-action="mv" title="播放mv" class="mv">MV</span>

 {/if}

 </span>

 </div>

 </div>

 </div>

 </td>

 {/if}

 <td class=" s-fc3">

 <span class="u-dur {if canDel}candel{/if}">${dur2time(x.duration/1000)}{if x.ftype==2}<i title="歌曲来自第三方网站" class="migu u-icn2 u-icn2-14"></i>{/if}</span>

 <div class="opt hshow">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true"

 data-res-type="18"

 data-res-id="${x.id}"

 data-res-action="addto"

 {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="fav" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" {if x.album}data-res-pic="${x.album.picUrl}"{/if} class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载"></span>

 {if canDel}

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="delete" class="icn icn-del" title="删除">删除</span>

 {/if}

 </div>

 </td>

 <td class="">

 <div class="text" title="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}">

 ${getArtistName(x.artists, '', '', false, false, true)}

 </div>

 </td>

 </tr>

 {/list}

 </tbody>

 </table>

 </textarea>

 <textarea name="jst" id="m-wgt-song-pgm-list" style="display:none;"><table class="m-table m-table-prog">

 <tbody id="song-list">

 {list beg..end as y}

 {var x=xlist[y]}

 <tr id="${x.id|seed}" class="{if y%2!=0}even{/if} {if disable(x)}js-dis{/if}">

 <td class="first col1">

 <div class="hd">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <span class="num">${y+1}</span>

 </div>

 </td>

 <td class="col2">

 <div class="f-cb">

 <div class="tt">

 <div class="ttc">

 <span class="txt">

 {var alia=songAlia(x)}

 <a href="/song?id=${x.id}"><b title="${x.name|escape}{if alia} - (${alia|escape}){/if}">${soil(x.name)}</b></a>{if alia}<span title="${alia|escape}" class="s-fc8"> - (${soil(alia)})</span>{/if}

 {if x.mvid>0}

 <span data-res-id="${x.id}" data-res-action="mv" title="播放mv" class="mv">MV</span>

 {/if}

 </span>

 </div>

 </div>

 </div>

 </td>

 <td class="col3 s-fc3">

 <span class="u-dur {if canDel}candel{/if}">${dur2time(x.duration/1000)}{if x.ftype==2}<i title="歌曲来自第三方网站" class="migu u-icn2 u-icn2-14"></i>{/if}</span>

 <div class="opt hshow">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true"

 data-res-type="18"

 data-res-id="${x.id}"

 data-res-action="addto"

 {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="fav" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" {if x.album}data-res-pic="${x.album.picUrl}"{/if} class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载"></span>

 {if canDel}

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="delete" class="icn icn-del" title="删除">删除</span>

 {/if}

 </div>

 </td>

 <td class="col4">

 <div class="text" title="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}">

 ${getArtistName(x.artists, '', '', false, false, true)}

 </div>

 </td>

 <td class="col5">

 <div class="text">

 {if x.album}

 <a href="/album?id=${x.album.id}" title="${x.album.name|escape}">${soil(x.album.name)}</a>

 {/if}

 </div>

 </td>

 </tr>

 {/list}

 </tbody>

 </table>

 </textarea>

 <textarea name="jst" id="m-wgt-song-listen" style="display:none;"> <ul>

 {list beg..end as y}

 {var x=xlist[y]}

 {if extData&&extData.limit&&y>=extData.limit}

 {break}

 {/if}

 {var from=getFrom()}

 <li id="${x.id|seed}" {if y%2 !=0 }class='even'{/if}>

 <div class="hd ">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <span class="num">${y+1}.</span>

 </div>

 <div class="song">

 <div class="tt">

 <div class="ttc">

 <span class="txt"><a href="/song?id=${x.id}"><b title="${x.name}">${x.name}</b></a>

 <span class='ar s-fc8'> <em>-</em>

 ${getArtistName(x.artists, 's-fc8')}

 </span>

 </span>

 </div>

 </div>

 <div class="opt">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true" data-res-type="18" data-res-id="${x.id}" data-res-action="addto" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="subscribe" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载">下载</span>

 </div>

 </div>

 <div class="tops">

 <span class="bg" style='width:${x.score*100/x.max}%;'></span>

 {if extData.showCount&&x.playCount}<span class="times f-ff2">${x.playCount}次</span>{/if}

 </div>

 </li>

 {/list}

 </ul>

 {if extData&&extData.limit&&xlist.length>extData.limit}

 <div class="more">

 <a href="/user/songs/rank?id=${hostId}" >查看更多&gt;</a>

 </div>

 {/if}

 </textarea>

 <textarea name="jst" id="m-wgt-purchased-song-list" style="display:none;"> {list beg..end as y}

 {var x=xlist[y]}

 <tr id="${x.id|seed}" class="{if y%2==1}even{/if} {if disable(x)}js-dis{/if}">

 <td class="left">

 <div class="hd {if type=='rank'}rank{/if}">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <span class="num">${y+1}</span>

 {if type=='rank'}

 <div class="rk rk-1">

 {if x.lastRank>=0}

 {if y-x.lastRank>0}

 <span class="ico u-icn u-icn-74 s-fc10">${y-x.lastRank}</span>

 {elseif y-x.lastRank==0}

 <span class="ico u-icn u-icn-72 s-fc4">0</span>

 {else}

 <span class="ico u-icn u-icn-73 s-fc9">${x.lastRank-y}</span>

 {/if}

 {else}

 <span class="u-icn u-icn-75"></span>

 {/if}

 </div>

 {/if}

 </div>

 </td>

 <td class="u-hasopt">

 <div class="f-cb">

 <div class="tt">

 <div class="ttc">

 <span class="txt">

 {var alia=songAlia(x)}

 <a href="/song?id=${x.id}"><b title="${x.name|escape}{if alia} - (${alia|escape}){/if}">${soil(x.name)}</b></a>{if alia}<span title="${alia|escape}" class="s-fc8"> - (${soil(alia)})</span>{/if}

 {if x.mvid>0}

 <span data-res-id="${x.id}" data-res-action="mv" title="播放mv" class="mv">MV</span>

 {/if}

 </span>

 </div>

 </div>

 <div class="opt hshow">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true"

 data-res-type="18"

 data-res-id="${x.id}"

 data-res-action="addto"

 {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="fav" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" {if x.album}data-res-pic="${x.album.picUrl}"{/if} class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载"></span>

 {if canDel}

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="delete" class="icn icn-del" title="删除">删除</span>

 {/if}

 </div>

 </div>

 </td>

 <td class="">

 <div class="text" title="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}">

 ${getArtistName(x.artists, '', '', false, false, true)}

 </div>

 </td>

 <td class="">

 <div class="text">

 {if x.album}

 <a href="/album?id=${x.album.id}" title="${x.album.name|escape}">${soil(x.album.name)}</a>

 {/if}

 </div>

 </td>

 <td class="s-fc3">${formatTime(x.paidTime)}</td>

 </tr>

 {/list}

 </textarea>

 <textarea name="ntp" id="m-msg-private-send" style="display:none;"><div class="lyct lyct-1 f-cb">

 <div class="m-lyshare m-plshare">

 <div class="u-err j-flag" style="display: none;">最多选择10位好友</div>

 <div class="item item-1 f-cb">

 <label>发 给：</label>

 <div class="ct f-pr j-flag">

 </div>

 </div>

 <div class="item f-cb">

 <label>内 容：</label>

 <div class="ct j-flag">

 </div>

 </div>

 </div>

 </div>

 </textarea>

 <textarea name="jst" id="m-wgt-redeem-tip" style="display:none;"><div class="lyct">

 <div class="result f-tc">

 <div class="text">

 <h4 class="f-fs2"><i class="icn u-icn2 u-icn2-{if type=='error'}16{else}15{/if}"></i>${title}</h4>

 <p class="f-fs1">${sub}</p>

 </div>

 <div class="btnwrap {if ok&&cc}btnwrap-1{/if}">

 {if ok}

 <a data-action="ok" href="javascript:;" class="u-btn2 u-btn2-2 {if ok.length <= 3}u-btn2-w2{/if}" hidefocus="true"><i>${ok}</i></a>

 {/if}

 {if cc}

 <a data-action="cc" href="javascript:;" class="u-btn2 u-btn2-1 u-btn2-w2" hidefocus="true"><i>${cc}</i></a>

 {/if}

 </div>

 </div>

 </div>

 </textarea>

 </div>

 <script src="//s3.music.126.net/sep/s/2/core.js?88f5bc0082242aff627ec140af2072b3" type="text/javascript"></script><script src="//s3.music.126.net/sep/s/2/pt_frame_index.js?56ef55a585c894efc0e5d564ccbe4f44" type="text/javascript"></script>

 </body>

 <script type="text/javascript">

 var _gaq = _gaq || [];

 _gaq.push(['_setAccount', 'UA-38766552-1'],['_setLocalGifPath', '/UA-38766552-1/__utm.gif'],['_setLocalRemoteServerMode']);

 _gaq.push(['_trackPageview']);

 (function() {

 var ga = document.createElement('script');

 ga.type = 'text/javascript';

 ga.async = true;

 ga.src = '//wr.da.netease.com/ga.js';

 var s = document.getElementsByTagName('script')[0];

 s.parentNode.insertBefore(ga, s);

 })();//fix ipad下的一个bug

 if (navigator.userAgent.indexOf('iPad') != -1) {

 iframeHeight = Math.max(

 Math.max(document.body.scrollHeight, document.documentElement.scrollHeight),

 Math.max(document.body.offsetHeight, document.documentElement.offsetHeight),

 Math.max(document.body.clientHeight, document.documentElement.clientHeight)

 );

 top.document.body.style.height = iframeHeight + 20 + 'px';

 }</script>

 </html>

获取的源码中既然没有热评信息

只有通过 F12 -> NetWork 分析网络请求

可以发现

有关热评信息的请求是http://music.163.com/weapi/v1/resource/comments/R_SO_4_409649818?csrf_token=

409649818 是歌曲ID

且表单数据与歌曲无关，是一段关于本机Cookie的信息，所以只需要一种表单数据，即可用来实现不同歌曲的请求

基本代码如下：

 package 网易云热评爬取;

 import org.apache.http.HttpEntity;

 import org.apache.http.NameValuePair;

 import org.apache.http.client.entity.UrlEncodedFormEntity;

 import org.apache.http.client.methods.CloseableHttpResponse;

 import org.apache.http.client.methods.HttpGet;

 import org.apache.http.client.methods.HttpPost;

 import org.apache.http.impl.client.CloseableHttpClient;

 import org.apache.http.impl.client.HttpClients;

 import org.apache.http.message.BasicNameValuePair;

 import org.apache.http.util.EntityUtils;

 import java.util.ArrayList;

 import java.util.List;

 import java.util.regex.Matcher;

 import java.util.regex.Pattern;

 public class MyClawer {

     public static void printHot(String u) throws Exception{

         CloseableHttpClient closeableHttpClient = HttpClients.createDefault() ;

         HttpPost httpPost = new HttpPost(u) ;

         httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36");

         List<NameValuePair> list=new ArrayList<NameValuePair>();

         list.add(new BasicNameValuePair("params","RlBC7U1bfy/boPwg9ag7/a7AjkQOgsIfd+vsUjoMY2tyQCPFgnNoxHeCY+ZuHYqtM1zF8DWIBwJWbsCOQ6ZYxBiPE3bk+CI1U6Htoc4P9REBePlaiuzU4M3rDAxtMfNN3y0eimeq3LVo28UoarXs2VMWkCqoTXSi5zgKEKbxB7CmlBJAP9pn1aC+e3+VOTr0"));

         list.add(new BasicNameValuePair("encSecKey","76a0d8ff9f6914d4f59be6b3e1f5d1fc3998317195464f00ee704149bc6672c587cd4a37471e3a777cb283a971d6b9205ce4a7187e682bdaefc0f225fb9ed1319f612243096823ddec88b6d6ea18f3fec883d2489d5a1d81cb5dbd0602981e7b49db5543b3d9edb48950e113f3627db3ac61cbc71d811889d68ff95d0eba04e9"));

         httpPost.setEntity(new UrlEncodedFormEntity(list));

         CloseableHttpResponse response=closeableHttpClient.execute(httpPost);

         HttpEntity entity=response.getEntity();

         String ux = EntityUtils.toString(entity,"utf-8") ;

         //System.out.println(ux);

         ArrayList<String> s= getBook(ux);

         for(int i=0;i<s.size();i++){

             String []arr = s.get(i).split("\"") ;

             System.out.println(arr[2]);

         }

     }

     public static void main(String[] args) throws Exception {

         String u = "http://music.163.com/weapi/v1/resource/comments/R_SO_4_409649818?csrf_token=" ;

         printHot(u);

     }

     public static ArrayList getBook(String read){

         ArrayList<String> arrayList = new ArrayList<String>() ;

         String con = "content(.*?)\"}" ;

         Pattern ah = Pattern.compile(con);

         Matcher mr = ah.matcher(read);

         while(mr.find()) {

             if (!arrayList.contains(mr.group())) {

                 arrayList.add(mr.group());

             }

         }

         return  arrayList ;

     }

 }

运行结果：

Java爬虫——网易云热评爬取的更多相关文章

  1. Java爬虫系列之实战：爬取酷狗音乐网 TOP500 的歌曲(附源码)

    在前面分享的两篇随笔中分别介绍了HttpClient和Jsoup以及简单的代码案例: Java爬虫系列二:使用HttpClient抓取页面HTML Java爬虫系列三:使用Jsoup解析HTML 今天 ...

  2. Java爬虫框架WebMagic——入门（爬取列表类网站文章）

    初学爬虫,WebMagic作为一个Java开发的爬虫框架很容易上手,下面就通过一个简单的小例子来看一下. WebMagic框架简介 WebMagic框架包含四个组件,PageProcessor.Sch ...

  3. 一篇文章带你用Python网络爬虫实现网易云音乐歌词抓取

    前几天小编给大家分享了数据可视化分析,在文尾提及了网易云音乐歌词爬取,今天小编给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌 ...

  4. Python爬取网易云热歌榜所有音乐及其热评

    获取特定歌曲热评: 首先,我们打开网易云网页版,击排行榜,然后点击左侧云音乐热歌榜,如图: 关于如何抓取指定的歌曲的热评,参考这篇文章,很详细,对小白很友好: 手把手教你用Python爬取网易云40万 ...

  5. 爬虫实战(二) 用Python爬取网易云歌单

    最近,博主喜欢上了听歌,但是又苦于找不到好音乐,于是就打算到网易云的歌单中逛逛 本着 "用技术改变生活" 的想法,于是便想着写一个爬虫爬取网易云的歌单,并按播放量自动进行排序 这篇 ...

  6. Python爬虫学习三------requests+BeautifulSoup爬取简单网页

    第一次第一次用MarkDown来写博客,先试试效果吧! 昨天2018俄罗斯世界杯拉开了大幕,作为一个伪球迷,当然也得为世界杯做出一点贡献啦. 于是今天就编写了一个爬虫程序将腾讯新闻下世界杯专题的相关新 ...

  7. 一起学爬虫——使用selenium和pyquery爬取京东商品列表

    layout: article title: 一起学爬虫--使用selenium和pyquery爬取京东商品列表 mathjax: true --- 今天一起学起使用selenium和pyquery爬 ...

  8. python爬虫实践（二）——爬取张艺谋导演的电影《影》的豆瓣影评并进行简单分析

    学了爬虫之后,都只是爬取一些简单的小页面,觉得没意思,所以我现在准备爬取一下豆瓣上张艺谋导演的“影”的短评,存入数据库,并进行简单的分析和数据可视化,因为用到的只是比较多,所以写一篇博客当做笔记. 第 ...

  9. 爬虫系列(十三) 用selenium爬取京东商品

    这篇文章,我们将通过 selenium 模拟用户使用浏览器的行为,爬取京东商品信息,还是先放上最终的效果图: 1.网页分析 (1)初步分析 原本博主打算写一个能够爬取所有商品信息的爬虫,可是在分析过程 ...

随机推荐

  1. Pycharm，Python原生IDE?

    老套路,安装和使用(Win7x64.JDK神马滴早已装好). 1.安装 网上下下来后就这东西 Next D盘路径 我选择.我喜欢 开装 好慢,以后用光纤 O了 桌面小图标 2.使用 以管理员身份打开软 ...

  2. ldap数据库--ldapsearch，ldapmodify

    简单介绍一下ldapsearch命令,在ldap搜索条目时很有用,只要适当调整filter就可以. 命令如下: ldapsearch -h hostname -p port -b baseDN -D ...

  3. ldap数据库--ODSEE--suffix

    ldap数据库的suffix是建立ldap之间复制协议的基础,suffix的创建也可以通过管理界面进行,也可以通过命令行进行.不同点是通过管理界面创建的suffix会自动创建一条对应该suffix的匿 ...

  4. activemq Linux下的编译

    1.首先下载源码 ,网址:http://www.apache.org/dyn/closer.lua/activemq/activemq-cpp/3.9.4/activemq-cpp-library-3 ...

  5. CLR类型设计之属性

    在之前的随笔中,我们探讨了参数,字段,方法,我们在开始属性之前回顾一下,之前的探讨实际上串联起来就是OOP编程的思想,在接下来的文章中,我们还会讨论接口(就是行为),举个例子:我们如果要做一个学生档案 ...

  6. Server 2008 R2远程桌面授权,解决120天过期问题

    平时在使用远程桌面过程,我们经常会遇到这样的两个问题. 问题一.远程桌面的连接数限制 Server 2008 R2默认远程桌面连接数是2个用户,如果多余两个用户进行远程桌面连接时,系统就会提示超过连接 ...

  7. Weblogic之简介

    一.简介(来自百度百科)   WebLogic是美国Oracle公司出品的一个application server,确切的说是一个基于JAVAEE架构的中间件,WebLogic是用于开发.集成.部署和 ...

  8. 《Linux命令行与shell脚本编程大全》第十三章 更多的结构化命令

    本章讨论bash shell的循环命令for.while和until 13.1 for命令 重复执行一系列命令在编程中很常见. bash shell提供了for命令,允许你创建一个遍历一系列值的循环. ...

  9. jquery.uploadify+spring mvc实现上传图片

    一.前端页面 1.下载jquery.uploadify 去uploadify官网(http://www.uploadify.com/download/)下载压缩包,解压后放在如下路径: 2.html结 ...

  10. vuejs(2.0)基础笔记

    基本结构 <div id="app"> {{ message }} </div> var app = new Vue({ el: '#wrap', data ...