直播源介绍

首先,我们来快速了解一下什么是直播源,所谓的直播源,其实就说推流地址,推流地址可能你也不知道是什么,那么我再简单说一下,推流地址就是,当某个直播开播的时候,需要将自己的直播状态实时的展示给观众,而观众看到的直播,就是从推流地址地址中实时获取的。推流地址是推流服务器的地址,推流就是把直播状态实时上传到推流服务器,而观众观看的时候,实时从推流服务器中下载,实际上叫拉流。这个过程也类似我们看在线视频一样,服务器中存放视频文件,我们观看的时候,也是从服务器中下载视频流的过程。

所以直播源地址一般分为两个部分,第一个部分是推流服务器主机地址/域名地址,第二部分是参数,一般包含时间戳以及密钥口令等。直播源地址的协议很多种,常见的app直播用rtmp,以及http,而摄像头直播常用rtsp协议,电视直播大部分是http,部分是rtmp,而直播源又分为静态与动态,静态一般是长效链接,通常没有特殊情况下,地址不变,随时可看,主要以http为主,少量的rtmp及其他,而动态直播源时效较短,通常是几秒钟到几分钟就失效了

如何抓取直播源呢?

准备工具:

模拟器或直接手机均可

抓包工具(fiddler,wireshark,疯狂URL) 系统windows

简单介绍一下以上三款工具

fiddler:代理抓包工具,主要抓取http/https,常用于抓取网站数据包,开发中常用的站点分析工具,也可以通过设置代理,抓取移动端手机app的数据,包括手机网页

wireshark:网络捕获及分析工具,与fiddler不同的是,这个抓取的范围更广,他主要抓取网络接口中的所有流量,包括tcp/udp等等,通过数据封包,然后进行分析获取我们需要的有效信息。

疯狂URL:这是一款基于winpacp以及npacp开发的抓包工具,wireshark也是基于winpacp开发的,关于winpacp的更多信息,可以去谷歌详细了解。疯狂URL支持抓取网络接口,也就是网卡数据流量,同时还支持抓取网站数据,疯狂URL实际上是做了过滤封装,很多用户如果只需要抓取特定的资源,而不需要去如何分析数据包,则使用疯狂URL是最佳的方案

以上3款工具的介绍基本如此,看个人的实际情况来选择,使用难易程度,最简单的就是疯狂URL,本次讲解如何使用疯狂URL抓取直播源,抓取模拟器中的app

步骤:

1.启动疯狂URL如下图(疯狂URL下载地址)

注意:新安装的用户安装后启动可能会出现提示缺少xxx组件/模块,需要安装对应系统的组件后方可看到网卡列表。安装组件的方法极其简单,只需要点击疯狂URL右上角的帮助选项–>找到对应系统的组件进行安装即可,如下图:

组件安装一定要选择你自身的系统对应安装,win7用户不能按照win10的组件,否则也无法使用。如果已经安装错,请前往控制面板–>卸载程序下载掉错误安装的组件,然后重新安装正确的即可。之后打开就如下图所示:

首先会看到两个界面,其中小的界面是网卡列表界面,我们选中一个我们当前使用的网卡,比如我的网卡是图中的红框部分,以WLAN 2开头,查看当前活动网卡最简单的方式是在任务栏右键–》打开任务管理器,如下图:

在任务管理器上方选择性能选项,然后在左侧列表查看相关网卡,看一下哪个网卡有流量在上传或下载,一般这个就是你要选的网卡了。图中黄色框对应的就是适配器名称和网卡名称,只要一个匹配一般就可以

还可以在网络设置中,在网络适配器中查看你使用的是什么就选什么就行。第一种方法最快捷简单

网络适配器中如图

2.选中网卡后确定,我们在主界面,目前已经自动进入监听状态,这个时候,我们只需要打开模拟器中某个直播的app,我这里演示抓取某浪直播app(其他app同理,没有任何区别,包括电视直播app,比如咪咕之类的),我直接选一个我觉得不错的小姐姐直播间进去如下图

3.从上图我们可以清除的看到,当我们进入直播间的时候,在疯狂URL的列表里会出现一个地址,每次进入一个直播间,都会增加地址,这些地址就是我们要的直播源地址了,那我们怎么看他是不是我们要的地址,会不会是平台的网页而已?这个我们在疯狂URL地址右键,播放,一试便知,如下图

4.点击播放后,这个画面和刚刚app中打开的完全就是一个人而且是同步的,所以不用怀疑,这就是我们要的直播源了。其实疯狂URL已经做了非常好的过滤,强大的过滤系统会过滤掉无关的链接,假设真遇到一些你认为不是直播的地址,你还可以手动设置过滤调节,如下图所示

5.你只需要点击类型旁边的三角形按钮,勾选你需要的链接类型即可,直播源,自然就是勾选视频了,默认情况下,没有勾选任何一项,表示所有类型都支持,但是内部仍然会过滤掉无关冗余的地址,这样做完全是为了考虑用户体验,不信你可以看看疯狂URL的左下角的数据包数量统计

6.短短几分钟的时间,数据包数量已经达到了8万多条,是不是很惊人,而我们只需要1条,要从上万甚至更多的数据包中过滤 我们需要的几条数据,真的很强大了。如果没有过滤功能,你需要从上万条数据包分析你需要的数据是一键很繁琐很浪费时间的工作,我想任何人都应该不想这么干,而且关于过滤,我们即使不使用播放器测试,也仍然一眼就知道,这个链接的类型,如下图

在类型列中,带视频格式的基本上都是可以播放的,视频格式非常多,比如flv/mp4/avi/wmv等等,而为了方便用户,只需要看到旁边有一个video的单词就表示这个链接是视频格式,支持播放器播放。

另外还需要知道的是,除了使用疯狂URL内置播放器播放之外,你仍然可以复制抓取的URL地址,到任意支持流媒体播放器中播放

如果想要抓取网站资源,我们还可以使用疯狂URL的扩展功能

他可以帮助我们抓取你指定的网站的资源,比如某些网站的直播以及在线视频等等

操作方法也非常简单,我们在只需要打开一个任意网站视频,就可以抓取到这个视频链接了

以下是X度视频的主页

我们随便点一个视频进去

最后一个视频就是我们刚刚打开的视频地址,我们可以使用自带的播放器播放,也可以复制下来,使用专用的下载工具下载或者第三方播放器播放都是可的

如何抓取直播源及视频URL地址-疯狂URL(教程)的更多相关文章

  1. 用php实现一个简单的爬虫,抓取电影网站的视频下载地址

    昨天没什么事,先看一下电影,就用php写了一个爬虫在视频网站上进行视频下载地址的抓取,这里总结一下抓取过程中遇到的问题 1:通过访问浏览器来执行php脚本这种访问方式其实并不适合用来爬网页,因为要受到 ...

  2. 抓取B站小视频

    抓取B站小视频的代码如下: #请求库import requests #请求头部信息(用户代理)headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; ...

  3. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  4. [转]Linux Socket编程 Socket抓取网页源码

    “一切皆Socket!” 话虽些许夸张,但是事实也是,现在的网络编程几乎都是用的socket. ——有感于实际编程和开源项目研究. 我们深谙信息交流的价值,那网络中进程之间如何通信,如我们每天打开浏览 ...

  5. 爬虫(三)解析js,抓取优酷免费视频的真实播放地址

    工具:google浏览器 + fiddler抓包工具 说明:这里不贴代码,[只讲思路!!!] 原始url = https://v.youku.com/v_show/id_XMzIwNjgyMDgwOA ...

  6. 使用Socket抓取网页源码

    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import ...

  7. c# 关于抓取网页源码后中文显示乱码的原因分析和解决方法

    原因分析:首先,目前大多数网站为了提升网页浏览传输速率都会对网站内容在传输前进行压缩,最常用的是GZIP压缩解压解压算法,也是支持最广的一种. 因为网站传输时采用的是GZIP压缩传输,如果我们接受we ...

  8. 第一篇 - bsp抓取python中文开发者社区中的所有高级教程

    工具:python3.6  pycharm 库:bs4 + urllib 第一步:读取html源码 from bs4 import BeautifulSoup import urllib.reques ...

  9. 如何使用JAVA语言抓取某个网页中的邮箱地址

    现实生活中咱们常常在浏览网页时看到自己需要的信息,但由于信息过于庞大而又不能逐个保存下来. 接下来,咱们就以获取邮箱地址为例,使用java语言抓取网页中的邮箱地址 实现思路如下: 1.使用Java.n ...

随机推荐

  1. Java基础系列(39)- 二维数组

    多维数组 多维数组可以看成是数组的数组,比如二维数组就是一个特殊的一维数组,其每一个元素都是一个一维数组. 二维数组 int a[][]=new int[2][5]; 解析:以上二维数组a可以看成一个 ...

  2. Docker系列(17)- MySQL同步数据

    #获取镜像 [root@localhost ~]# docker pull mysql:5.7 #启动容器,需要做数据挂载!安装启动mysql,需要配置密码的,这是注意点! #官方安装文档:docke ...

  3. django 对models中上传的文件或图片改名

    def user_directory_path(instance,filename): print instance,filename ext = filename.split('.')[-1] pr ...

  4. mac使用brew update无反应,更新慢解决办法

    一.原因 主要是资源访问太慢的原因造成的,替换一下镜像就可以了 有点耐心,大概5分钟就可以了,刚开始的时候terminal 只有顶部的title栏会变化,最后才会出现更新结果 使用中科大的镜像 替换默 ...

  5. Jmeter压测学习2---提取token,并关联参数

    注意:我是根据我司的项目写的,这里作为一个笔记使用,不要照搬. 一般登录操作,都会有个token,我们要提取token作为参数,用于后面的操作. 接口的登录是返回一个json数据,token值在返回的 ...

  6. ASP.NET Core 中间件的使用(三):全局异常处理机制

    前言 我们经常听到"秒修复秒上线",觉得很厉害的样子. 其实不然,这只是一个调侃而已,出现问题的方式很多(逻辑漏洞.代码异常.操作方式不正确等). 我们今天来说代码异常问题怎么快速 ...

  7. Git 管理工具 基本用法

    git管理工具基本操作命令: 1. 提交 git push origin dev 2.拉取分支: git pull 3.创建并转换分支: git switch -c dev; 4.直接切换到已有分支: ...

  8. 用SpringBoot实现策略模式

    问题的提出 阅读别人代码的时候最讨厌遇到的就是大段大段的if-else分支语句,一般来说读到下面的时候就忘了上面在判断什么了.很多资料上都会讲到使用策略模式来改进这种代码逻辑. 策略模式的类图如下: ...

  9. 单机百万连接调优和Netty应用级别调优

    作者:Grey 原文地址:单机百万连接调优和Netty应用级别调优 说明 本文为深度解析Netty源码的学习笔记. 单机百万连接调优 准备两台Linux服务器,一个充当服务端,一个充当客户端. 服务端 ...

  10. 【nvidia jetson xavier】 Deepstream Yolov3示例模型运行

    作者声明 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 原文链接:https://www.cnblogs.com/phoenixash/p/15 ...