爬取目标网址 ：   http://music.163.com/#/song?id=409649818

需要爬取信息 ：   网易云top13热评

使用之前的 HttpURLConnection 获取网页源码，经过分析发现，在源码中并没有热评信息

 package bok;

 import java.io.BufferedReader;

 import java.io.InputStreamReader;

 import java.net.HttpURLConnection;

 import java.net.URL;

 public class GC {

     public static void main(String[] args) throws Exception{

         URL url = new URL("http://music.163.com/#/song?id=409649818") ;

         HttpURLConnection httpURLConnection = (HttpURLConnection)url.openConnection() ;

         String get = "" ;

         if(httpURLConnection.getResponseCode()==200){

             BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(httpURLConnection.getInputStream(),"UTF-8")) ;

             String read ;

             while(((read=bufferedReader.readLine()))!=null){

                 get+=read+="\r\n" ;

             }

             System.out.println(get);

         }

     }

 }

部分源码如下：

 {/if}

 {else}

 <span class="u-icn u-icn-75"></span>

 {/if}

 </div>

 </div>

 </td>

 <td class="">

 <div class="f-cb">

 <div class="tt">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <div class="ttc">

 <span class="txt">

 {var alia=songAlia(x)}

 <a href="/song?id=${x.id}"><b title="${x.name|escape}{if alia} - (${alia|escape}){/if}">${soil(x.name)}</b></a>{if alia}<span title="${alia|escape}" class="s-fc8"> - (${soil(alia)})</span>{/if}

 {if x.mvid>0}

 <span data-res-id="${x.id}" data-res-action="mv" title="播放mv" class="mv">MV</span>

 {/if}

 </span>

 </div>

 </div>

 </div>

 </td>

 {/if}

 <td class=" s-fc3">

 <span class="u-dur {if canDel}candel{/if}">${dur2time(x.duration/1000)}{if x.ftype==2}<i title="歌曲来自第三方网站" class="migu u-icn2 u-icn2-14"></i>{/if}</span>

 <div class="opt hshow">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true"

 data-res-type="18"

 data-res-id="${x.id}"

 data-res-action="addto"

 {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="fav" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" {if x.album}data-res-pic="${x.album.picUrl}"{/if} class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载"></span>

 {if canDel}

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="delete" class="icn icn-del" title="删除">删除</span>

 {/if}

 </div>

 </td>

 <td class="">

 <div class="text" title="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}">

 ${getArtistName(x.artists, '', '', false, false, true)}

 </div>

 </td>

 </tr>

 {/list}

 </tbody>

 </table>

 </textarea>

 <textarea name="jst" id="m-wgt-song-pgm-list" style="display:none;"><table class="m-table m-table-prog">

 <tbody id="song-list">

 {list beg..end as y}

 {var x=xlist[y]}

 <tr id="${x.id|seed}" class="{if y%2!=0}even{/if} {if disable(x)}js-dis{/if}">

 <td class="first col1">

 <div class="hd">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <span class="num">${y+1}</span>

 </div>

 </td>

 <td class="col2">

 <div class="f-cb">

 <div class="tt">

 <div class="ttc">

 <span class="txt">

 {var alia=songAlia(x)}

 <a href="/song?id=${x.id}"><b title="${x.name|escape}{if alia} - (${alia|escape}){/if}">${soil(x.name)}</b></a>{if alia}<span title="${alia|escape}" class="s-fc8"> - (${soil(alia)})</span>{/if}

 {if x.mvid>0}

 <span data-res-id="${x.id}" data-res-action="mv" title="播放mv" class="mv">MV</span>

 {/if}

 </span>

 </div>

 </div>

 </div>

 </td>

 <td class="col3 s-fc3">

 <span class="u-dur {if canDel}candel{/if}">${dur2time(x.duration/1000)}{if x.ftype==2}<i title="歌曲来自第三方网站" class="migu u-icn2 u-icn2-14"></i>{/if}</span>

 <div class="opt hshow">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true"

 data-res-type="18"

 data-res-id="${x.id}"

 data-res-action="addto"

 {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="fav" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" {if x.album}data-res-pic="${x.album.picUrl}"{/if} class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载"></span>

 {if canDel}

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="delete" class="icn icn-del" title="删除">删除</span>

 {/if}

 </div>

 </td>

 <td class="col4">

 <div class="text" title="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}">

 ${getArtistName(x.artists, '', '', false, false, true)}

 </div>

 </td>

 <td class="col5">

 <div class="text">

 {if x.album}

 <a href="/album?id=${x.album.id}" title="${x.album.name|escape}">${soil(x.album.name)}</a>

 {/if}

 </div>

 </td>

 </tr>

 {/list}

 </tbody>

 </table>

 </textarea>

 <textarea name="jst" id="m-wgt-song-listen" style="display:none;"> <ul>

 {list beg..end as y}

 {var x=xlist[y]}

 {if extData&&extData.limit&&y>=extData.limit}

 {break}

 {/if}

 {var from=getFrom()}

 <li id="${x.id|seed}" {if y%2 !=0 }class='even'{/if}>

 <div class="hd ">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <span class="num">${y+1}.</span>

 </div>

 <div class="song">

 <div class="tt">

 <div class="ttc">

 <span class="txt"><a href="/song?id=${x.id}"><b title="${x.name}">${x.name}</b></a>

 <span class='ar s-fc8'> <em>-</em>

 ${getArtistName(x.artists, 's-fc8')}

 </span>

 </span>

 </div>

 </div>

 <div class="opt">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true" data-res-type="18" data-res-id="${x.id}" data-res-action="addto" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="subscribe" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载">下载</span>

 </div>

 </div>

 <div class="tops">

 <span class="bg" style='width:${x.score*100/x.max}%;'></span>

 {if extData.showCount&&x.playCount}<span class="times f-ff2">${x.playCount}次</span>{/if}

 </div>

 </li>

 {/list}

 </ul>

 {if extData&&extData.limit&&xlist.length>extData.limit}

 <div class="more">

 <a href="/user/songs/rank?id=${hostId}" >查看更多&gt;</a>

 </div>

 {/if}

 </textarea>

 <textarea name="jst" id="m-wgt-purchased-song-list" style="display:none;"> {list beg..end as y}

 {var x=xlist[y]}

 <tr id="${x.id|seed}" class="{if y%2==1}even{/if} {if disable(x)}js-dis{/if}">

 <td class="left">

 <div class="hd {if type=='rank'}rank{/if}">

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="play" {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if} class="ply {if isPlaying(x)}ply-z-slt{/if}">&nbsp;</span>

 <span class="num">${y+1}</span>

 {if type=='rank'}

 <div class="rk rk-1">

 {if x.lastRank>=0}

 {if y-x.lastRank>0}

 <span class="ico u-icn u-icn-74 s-fc10">${y-x.lastRank}</span>

 {elseif y-x.lastRank==0}

 <span class="ico u-icn u-icn-72 s-fc4">0</span>

 {else}

 <span class="ico u-icn u-icn-73 s-fc9">${x.lastRank-y}</span>

 {/if}

 {else}

 <span class="u-icn u-icn-75"></span>

 {/if}

 </div>

 {/if}

 </div>

 </td>

 <td class="u-hasopt">

 <div class="f-cb">

 <div class="tt">

 <div class="ttc">

 <span class="txt">

 {var alia=songAlia(x)}

 <a href="/song?id=${x.id}"><b title="${x.name|escape}{if alia} - (${alia|escape}){/if}">${soil(x.name)}</b></a>{if alia}<span title="${alia|escape}" class="s-fc8"> - (${soil(alia)})</span>{/if}

 {if x.mvid>0}

 <span data-res-id="${x.id}" data-res-action="mv" title="播放mv" class="mv">MV</span>

 {/if}

 </span>

 </div>

 </div>

 <div class="opt hshow">

 <a class="u-icn u-icn-81 icn-add" href="javascript:;" title="添加到播放列表" hidefocus="true"

 data-res-type="18"

 data-res-id="${x.id}"

 data-res-action="addto"

 {if from}data-res-from="${from.fid}" data-res-data="${from.fdata}"{/if}></a>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="fav" class="icn icn-fav" title="收藏"></span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="share" data-res-name="${x.name}" data-res-author="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}" {if x.album}data-res-pic="${x.album.picUrl}"{/if} class="icn icn-share" title="分享">分享</span>

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="download" class="icn icn-dl" title="下载"></span>

 {if canDel}

 <span data-res-id="${x.id}" data-res-type="18" data-res-action="delete" class="icn icn-del" title="删除">删除</span>

 {/if}

 </div>

 </div>

 </td>

 <td class="">

 <div class="text" title="{list x.artists as art}${art.name}{if art_index<x.artists.length-1}/{/if}{/list}">

 ${getArtistName(x.artists, '', '', false, false, true)}

 </div>

 </td>

 <td class="">

 <div class="text">

 {if x.album}

 <a href="/album?id=${x.album.id}" title="${x.album.name|escape}">${soil(x.album.name)}</a>

 {/if}

 </div>

 </td>

 <td class="s-fc3">${formatTime(x.paidTime)}</td>

 </tr>

 {/list}

 </textarea>

 <textarea name="ntp" id="m-msg-private-send" style="display:none;"><div class="lyct lyct-1 f-cb">

 <div class="m-lyshare m-plshare">

 <div class="u-err j-flag" style="display: none;">最多选择10位好友</div>

 <div class="item item-1 f-cb">

 <label>发 给：</label>

 <div class="ct f-pr j-flag">

 </div>

 </div>

 <div class="item f-cb">

 <label>内 容：</label>

 <div class="ct j-flag">

 </div>

 </div>

 </div>

 </div>

 </textarea>

 <textarea name="jst" id="m-wgt-redeem-tip" style="display:none;"><div class="lyct">

 <div class="result f-tc">

 <div class="text">

 <h4 class="f-fs2"><i class="icn u-icn2 u-icn2-{if type=='error'}16{else}15{/if}"></i>${title}</h4>

 <p class="f-fs1">${sub}</p>

 </div>

 <div class="btnwrap {if ok&&cc}btnwrap-1{/if}">

 {if ok}

 <a data-action="ok" href="javascript:;" class="u-btn2 u-btn2-2 {if ok.length <= 3}u-btn2-w2{/if}" hidefocus="true"><i>${ok}</i></a>

 {/if}

 {if cc}

 <a data-action="cc" href="javascript:;" class="u-btn2 u-btn2-1 u-btn2-w2" hidefocus="true"><i>${cc}</i></a>

 {/if}

 </div>

 </div>

 </div>

 </textarea>

 </div>

 <script src="//s3.music.126.net/sep/s/2/core.js?88f5bc0082242aff627ec140af2072b3" type="text/javascript"></script><script src="//s3.music.126.net/sep/s/2/pt_frame_index.js?56ef55a585c894efc0e5d564ccbe4f44" type="text/javascript"></script>

 </body>

 <script type="text/javascript">

 var _gaq = _gaq || [];

 _gaq.push(['_setAccount', 'UA-38766552-1'],['_setLocalGifPath', '/UA-38766552-1/__utm.gif'],['_setLocalRemoteServerMode']);

 _gaq.push(['_trackPageview']);

 (function() {

 var ga = document.createElement('script');

 ga.type = 'text/javascript';

 ga.async = true;

 ga.src = '//wr.da.netease.com/ga.js';

 var s = document.getElementsByTagName('script')[0];

 s.parentNode.insertBefore(ga, s);

 })();//fix ipad下的一个bug

 if (navigator.userAgent.indexOf('iPad') != -1) {

 iframeHeight = Math.max(

 Math.max(document.body.scrollHeight, document.documentElement.scrollHeight),

 Math.max(document.body.offsetHeight, document.documentElement.offsetHeight),

 Math.max(document.body.clientHeight, document.documentElement.clientHeight)

 );

 top.document.body.style.height = iframeHeight + 20 + 'px';

 }</script>

 </html>

获取的源码中既然没有热评信息

只有通过 F12 -> NetWork 分析网络请求

可以发现

有关热评信息的请求是http://music.163.com/weapi/v1/resource/comments/R_SO_4_409649818?csrf_token=

409649818 是歌曲ID

且表单数据与歌曲无关，是一段关于本机Cookie的信息，所以只需要一种表单数据，即可用来实现不同歌曲的请求

基本代码如下：

 package 网易云热评爬取;

 import org.apache.http.HttpEntity;

 import org.apache.http.NameValuePair;

 import org.apache.http.client.entity.UrlEncodedFormEntity;

 import org.apache.http.client.methods.CloseableHttpResponse;

 import org.apache.http.client.methods.HttpGet;

 import org.apache.http.client.methods.HttpPost;

 import org.apache.http.impl.client.CloseableHttpClient;

 import org.apache.http.impl.client.HttpClients;

 import org.apache.http.message.BasicNameValuePair;

 import org.apache.http.util.EntityUtils;

 import java.util.ArrayList;

 import java.util.List;

 import java.util.regex.Matcher;

 import java.util.regex.Pattern;

 public class MyClawer {

     public static void printHot(String u) throws Exception{

         CloseableHttpClient closeableHttpClient = HttpClients.createDefault() ;

         HttpPost httpPost = new HttpPost(u) ;

         httpPost.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36");

         List<NameValuePair> list=new ArrayList<NameValuePair>();

         list.add(new BasicNameValuePair("params","RlBC7U1bfy/boPwg9ag7/a7AjkQOgsIfd+vsUjoMY2tyQCPFgnNoxHeCY+ZuHYqtM1zF8DWIBwJWbsCOQ6ZYxBiPE3bk+CI1U6Htoc4P9REBePlaiuzU4M3rDAxtMfNN3y0eimeq3LVo28UoarXs2VMWkCqoTXSi5zgKEKbxB7CmlBJAP9pn1aC+e3+VOTr0"));

         list.add(new BasicNameValuePair("encSecKey","76a0d8ff9f6914d4f59be6b3e1f5d1fc3998317195464f00ee704149bc6672c587cd4a37471e3a777cb283a971d6b9205ce4a7187e682bdaefc0f225fb9ed1319f612243096823ddec88b6d6ea18f3fec883d2489d5a1d81cb5dbd0602981e7b49db5543b3d9edb48950e113f3627db3ac61cbc71d811889d68ff95d0eba04e9"));

         httpPost.setEntity(new UrlEncodedFormEntity(list));

         CloseableHttpResponse response=closeableHttpClient.execute(httpPost);

         HttpEntity entity=response.getEntity();

         String ux = EntityUtils.toString(entity,"utf-8") ;

         //System.out.println(ux);

         ArrayList<String> s= getBook(ux);

         for(int i=0;i<s.size();i++){

             String []arr = s.get(i).split("\"") ;

             System.out.println(arr[2]);

         }

     }

     public static void main(String[] args) throws Exception {

         String u = "http://music.163.com/weapi/v1/resource/comments/R_SO_4_409649818?csrf_token=" ;

         printHot(u);

     }

     public static ArrayList getBook(String read){

         ArrayList<String> arrayList = new ArrayList<String>() ;

         String con = "content(.*?)\"}" ;

         Pattern ah = Pattern.compile(con);

         Matcher mr = ah.matcher(read);

         while(mr.find()) {

             if (!arrayList.contains(mr.group())) {

                 arrayList.add(mr.group());

             }

         }

         return  arrayList ;

     }

 }

运行结果：

Java爬虫——网易云热评爬取的更多相关文章

  1. Java爬虫系列之实战：爬取酷狗音乐网 TOP500 的歌曲(附源码)

    在前面分享的两篇随笔中分别介绍了HttpClient和Jsoup以及简单的代码案例: Java爬虫系列二:使用HttpClient抓取页面HTML Java爬虫系列三:使用Jsoup解析HTML 今天 ...

  2. Java爬虫框架WebMagic——入门（爬取列表类网站文章）

    初学爬虫,WebMagic作为一个Java开发的爬虫框架很容易上手,下面就通过一个简单的小例子来看一下. WebMagic框架简介 WebMagic框架包含四个组件,PageProcessor.Sch ...

  3. 一篇文章带你用Python网络爬虫实现网易云音乐歌词抓取

    前几天小编给大家分享了数据可视化分析,在文尾提及了网易云音乐歌词爬取,今天小编给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌 ...

  4. Python爬取网易云热歌榜所有音乐及其热评

    获取特定歌曲热评: 首先,我们打开网易云网页版,击排行榜,然后点击左侧云音乐热歌榜,如图: 关于如何抓取指定的歌曲的热评,参考这篇文章,很详细,对小白很友好: 手把手教你用Python爬取网易云40万 ...

  5. 爬虫实战(二) 用Python爬取网易云歌单

    最近,博主喜欢上了听歌,但是又苦于找不到好音乐,于是就打算到网易云的歌单中逛逛 本着 "用技术改变生活" 的想法,于是便想着写一个爬虫爬取网易云的歌单,并按播放量自动进行排序 这篇 ...

  6. Python爬虫学习三------requests+BeautifulSoup爬取简单网页

    第一次第一次用MarkDown来写博客,先试试效果吧! 昨天2018俄罗斯世界杯拉开了大幕,作为一个伪球迷,当然也得为世界杯做出一点贡献啦. 于是今天就编写了一个爬虫程序将腾讯新闻下世界杯专题的相关新 ...

  7. 一起学爬虫——使用selenium和pyquery爬取京东商品列表

    layout: article title: 一起学爬虫--使用selenium和pyquery爬取京东商品列表 mathjax: true --- 今天一起学起使用selenium和pyquery爬 ...

  8. python爬虫实践（二）——爬取张艺谋导演的电影《影》的豆瓣影评并进行简单分析

    学了爬虫之后,都只是爬取一些简单的小页面,觉得没意思,所以我现在准备爬取一下豆瓣上张艺谋导演的“影”的短评,存入数据库,并进行简单的分析和数据可视化,因为用到的只是比较多,所以写一篇博客当做笔记. 第 ...

  9. 爬虫系列(十三) 用selenium爬取京东商品

    这篇文章,我们将通过 selenium 模拟用户使用浏览器的行为,爬取京东商品信息,还是先放上最终的效果图: 1.网页分析 (1)初步分析 原本博主打算写一个能够爬取所有商品信息的爬虫,可是在分析过程 ...

随机推荐

  1. JavaScript组成（三个组成部分）

    JavaScript主要包括三部分: 1.ECMAScript: JavaScript的核心,仅仅是一个描述,定义了脚本语言的所有属性,方法和对象. 具体地,ECMAscript描述了以下内容: 语法 ...

  2. 高性能 AJAX

    请求数据的常用的五种方式 1.XMLHttpRequest (XHR) var url = '/data.php'; var params = [     'id=934875',     'limi ...

  3. HTML学习笔记 cs动画基础（分列效果可用于做瀑布流） 第十五节 （原创） 参考使用表

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  4. pwnable.kr login之write up

    main函数如下: auth函数如下: 程序的流程如下: 输入Authenticate值,并base64解码,将解码的值代入md5_auth函数中 mad5_auth()生成其MD5值并与f87cd6 ...

  5. 基于树莓派的智能家居项目的设想与实现 Hestia

    注:本人内容的准确性仅限于笔者写该篇文章时的情况,不保证后续与实际项目代码一致.实时内容还请关注Github项目托管页面:https://github.com/GenialX/hestia-serve ...

  6. flask 之定时任务开发

    最近开发我的接口测试平台 ,但是遇到了一个需求,需要开发定时任务,于是百度搜索,找到了这么一个叫 pFlask-APScheduler然后开始了我的第一次的学习,于是乎, 需求是这么的: 1.添加定时 ...

  7. MD5摘要算法简析

    1 MD5简介 1.1  概述 MD5即Message-Digest Algorithm 5(信息-摘要算法5),用于确保信息传输完整一致.是计算机广泛使用的杂凑算法之一(又译摘要算法.哈希算法),主 ...

  8. 最大信息系数（MIC）——Detecting Novel Associations in Large Data Sets

    本文介绍了一种发现两个随机变量之间依赖关系强度的度量MIC(最大信息系数,类似于相关系数的作用).MIC具有以下性质和优势: MIC度量具有普适性.其不仅可以发现变量间的线性函数关系,还能发现非线性函 ...

  9. java 之 原型模式（大话设计模式）

    原型模式,在笔者理解看来就是克隆,当我们在创建第一个对象时,已经给对象赋值完毕,此时我们需要一个当前对象的副本,如果没有原型模式,我们会再次创建一个对象,然后后二次赋值,保证两个对象完全一致, 这样我 ...

  10. Nvidia TX2 Robot 环境配置记录

    p.p1 { margin: 0.0px 0.0px 2.0px 0.0px; font: 14.0px "Helvetica Neue"; color: #454545 } p. ...