准备工作

  起因是因为这个网站:http://i.youku.com/kmsfan 这个是一个叫做冒险岛的游戏的资讯论坛,以前我经常在里面传视频,现在我不玩这个游戏了,但是很多玩家还是经常到我的网站里面去看视频,所以我觉得有点不好意思,我觉得开发出一款自动上传下载的工具比什么都好,也不耽误我时间。需要准备一些插件,这些插件都可以从Nuget里面找到,比如Newtonsoft.Json啊HtmlAgilityPack ,不过目前为止也只用到了这些东西。还有我没有做youtube视频的下载,我只做了Daum tv的视频解析,因为Insoya视频区大部分都是上传到Daum Tv 的视频。

Insoya视频区结构解析

  我先不放代码,大家先要对网站的文件解析有个大概的了解才行吧?我的想法就是:解析当天的视频。因为Insoya是一个韩国网站,所以韩文什么的思密达什么的就不要再吐槽了。这是视频区的地址:http://www.insoya.com/bbs/zboard.php?id=ucc

  大家可以把手指指向链接,可以发现:视频的ID是一个自增长的。比如:

  http://www.insoya.com/bbs/zboard.php?id=ucc&no=58158

  http://www.insoya.com/bbs/zboard.php?id=ucc&no=58157

  http://www.insoya.com/bbs/zboard.php?id=ucc&no=58156.....略掉了。。。

  我们随便点一个进去,如果我们想获得视频的标题啊,URL啊,还有发布日期的话,就可以从里面获取,下面框框就是:

需要知道的几件事情

  第一,我们从Daum Tv上面获取视频的真实地址,具体可以参考优酷,因为有点难度,视频的地址通常只是给了ID,所以我们还必须获取真实地址:不过StackoverFlow上面我得到了答案 ,哈哈多亏这位老兄。下面是daumTv 的调用API,后面的Vid是视频的ID.

        public static string daumAPI = "http://videofarm.daum.net/controller/api/closed/v1_2/IntegratedMovieData.json?vid=";

  光有了api不行,因为我们是从inosya网站里面去得到视频的真实地址,所以我们还需要有一个解析工具就是HtmlAgilityPack .为此我们需要知道网站是怎么在HTML结点里面存储这些东西的(标题,URL等)。下面几张图可以帮你解惑。下面这张图中指向的是URL,我们想,如果这些ID都是连续的话,那我是不是在第一页获取一个最大的ID,那其他的ID是不是可以都得出来了呢?

下面图是内容页的,我们可以看到时间是存储到这个CLASS里面的,也许我们有疑问,为什么我要标注CLASS呢,嘿嘿,别急,等下你就知道了。

编码1:获取文件的真实地址

  因为我们是从INSOYA网站里面去获取,INSOYA采用的是iframe方式,所以我们并没有在daumTV里面弄。我的想法是弄到DAUM TV的真实页面地址。

public static string GetDownloadUrls(string videoUrl)
{
string vid = "";
if (videoUrl == null)
{
throw new ArgumentNullException("video Url can not be null");
} //是否是标准的daumtv链接,并输出链接地址和视频ID
bool isDaumUrl = TryNormalizeDaumTvUrl(videoUrl, out videoUrl,out vid); if (!isDaumUrl)
{
throw new ArgumentException("It is not a daum Url");
}
string vLink = "";
try
{
//通过DAUM API获得返回的JSON
var json = LoadJson(daumAPI + vid); //通过JSON获得文件的真实地址。
vLink = GetVideLink(json); }
catch (Exception ex)
{ } return vLink; }

GetDownloadUrls(获取下载URL)

/// <summary>
/// 把从insoya.com中获取的视频地址转换为标准的DAUM TV的视频地址
/// </summary>
/// <param name="url"></param>
/// <param name="normalizeUrl"></param>
/// <returns></returns>
public static bool TryNormalizeDaumTvUrl(string url, out string normalizeUrl, out string vId)
{
url = url.Trim();
string videoId = "";
if (url.IndexOf("videofarm") != -)
{
int firstParam = url.IndexOf('=');
int secondParam = url.IndexOf('&')-;
videoId = url.Substring(firstParam + , secondParam - firstParam); url = "http://tvpot.daum.net/v/" + videoId; }
vId = videoId;
normalizeUrl = url; return true;
}

TryNormalizeDaumTvUrl(转换INSOYA内嵌视频地址为标准的DAUM TV视频地址)

        private static JObject LoadJson(string url)
{ string pageSource = HttpHelper.DownloadString(url); if (!IsVideoValid(pageSource))
{
throw new Exception("video not valid");
} return JObject.Parse(pageSource);
} public class HttpHelper
{
public static string DownloadString(string url)
{
using (var client = new WebClient())
{
client.Encoding = System.Text.Encoding.UTF8;
return client.DownloadString(url);
} } }

LoadJson(把返回的JSON以字符串形式下载下来)

编码2:分析HTML结点并存储

  首先我们需要得到HTML结点的数据并存储。我的想法是从主页面进去也就是:http://www.insoya.com/bbs/zboard.php?id=ucc 然后再区最大的ID,那样就可以把第一页的所有东西都取到了 o(╯□╰)o。,用的是HtmlAgilityPack 有不懂的自己百度吧。

 private static int getMaxIdOfVideo()
{
HtmlWeb docWeb = new HtmlWeb();
HtmlDocument doc = docWeb.Load("http://www.insoya.com/bbs/zboard.php?id=ucc&page=1&divpage=12"); IList<int> b = new List<int>();
foreach (HtmlNode numbers in doc.DocumentNode.Descendants("td").Where(d=>d.Attributes.Contains("class")&&
d.Attributes["class"].Value.Contains("eng w_num")))
{
int a;
int.TryParse(numbers.InnerText, out a); if (a != )
{
b.Add(a);
}
} return b.Max();
}

getMaxIdOfVideo(获取视频页面的最新视频的ID)

  下面的就是最重要的了,就是抓取视频标题,视频URL等,当然我们首先需要建立一个Model然后返回的是这个Model的List.

    public class VideoModel
{
public int VideoId { get; set; }
public string VideoUrl { get; set; }
public string Title { get; set; }
public DateTime PubTime { get; set; } }

VideoModel(视频实体模型)

public static IList<VideoModel> GrabVideoInfo()
{
int max=getMaxIdOfVideo();
int staticMax = max;
IList<VideoModel> models = new List<VideoModel>();
do {
VideoModel model=new VideoModel();
HtmlWeb innerDocWeb = new HtmlWeb();
HtmlDocument innerDoc = innerDocWeb.Load(insoyaUcc + max);
//标题
foreach (HtmlNode title in innerDoc.DocumentNode.Descendants("a").Where(d =>
d.Attributes.Contains("name") && d.Attributes["name"].Value.Contains("pv9")))
{
model.Title = title.InnerText;
break;
} //日期
foreach (HtmlNode title in innerDoc.DocumentNode.Descendants("span").Where(d =>
d.Attributes.Contains("class") && d.Attributes["class"].Value=="eng"))
{
DateTime date;
DateTime.TryParse(title.InnerText,out date); if (date != null)
{
model.PubTime = date;
break;
} }
//视频地址
foreach (HtmlNode title in innerDoc.DocumentNode.Descendants("iframe").Where(d =>
d.Attributes.Contains("title") && d.Attributes["title"].Value.Contains("maplestory_ucc")))
{
string oldUrl = title.Attributes["src"].Value;
string newUrl = GetDownloadUrls(oldUrl);
model.VideoUrl = newUrl;
break; }
model.VideoId = max;
models.Add(model);
Console.WriteLine("ID:"+max + " has accomplish grabbed!");
--max;
} while (max >= staticMax - ); return models;
}

GrabVideoInfo(获取视频模型)

  好了,到此为止我们就可以抓取到视频模型了。

尚未完成的工作

  当然了,才完成了30%,还要自动上传视频到优酷,还有要把韩文翻译成最合适的中文,如果我做出来了,会和大家分享的,首先是上传到优酷。有兴趣的同好可以看看优酷开放平台。

C#控制台程序取得INSOYA视频区的视频的真实URL,视频标题,发布时间集合。的更多相关文章

  1. 在.NET Core控制台程序中使用依赖注入

    之前都是在ASP.NET Core中使用依赖注入(Dependency Injection),昨天遇到一个场景需要在.NET Core控制台程序中使用依赖注入,由于对.NET Core中的依赖注入机制 ...

  2. 使用 CommandLineApplication 类创建专业的控制台程序

    闲话 在很久很久以前,电脑是命令行/终端/控制台的天下,那屏幕上的光标在行云流水般的键盘敲击下欢快地飞跃着,那一行行的字符输出唰唰唰地滚动着--直到 Windows 95 的出现(那时候我还不知道苹果 ...

  3. C#基础-关于用json给控制台程序传值的坑

    上周遇到了一个非常诡异的坑,首先写了两个程序,第一个程序输出成dll,第二个程序是控制台程序. 在第一个程序里,我使用了process去启动第二个程序,同时传入了一个Json作为参数,即: Proce ...

  4. 你们信不信一句Console.WriteLine就能让你的控制台程序失去响应

    好久没更新博客了,今天是扒衣见君节,难得闲下来就来说说一个最近有趣的发现吧. 首先废话不多说,直接上代码吧 class Program { static void Main(string[] args ...

  5. 【转】WIN32 控制台程序

    http://blog.csdn.net/houmin0036/article/details/7702236 win32控制台项目指在32位Windows命令提示符(即所谓的dos)环境下运行的应用 ...

  6. Async Console Programs 异步控制台程序

    如果你正在写一个控制台程序,你可能最终想要一个异步的main方法,像这样: class Program { static async void Main(string[] args) { ... } ...

  7. C#控制台程序的参数解析类库 CommandLine简单使用说明

    前言 C#开发的控制台程序,默认接收string[] args参数.如果有多个参数需要输入时,可以按照顺序依次输入:但如果有些参数不是必选的,或者有些参数中间需要有空格比如时间“2016-05-18 ...

  8. .Net Core 控制台程序错误:Can not find runtime target for framework '.NETCoreApp,Version=v1.0' compatible with one of the target runtimes: 'win10-x64, win81-x64, win8-x64, win7-x64'.

    .Net Core 控制台程序错误:Can not find runtime target for framework '.NETCoreApp,Version=v1.0' compatible wi ...

  9. C# 控制台程序(命令行程序)设置字体颜色,窗口宽高,光标行数

    控制台程序(命令行程序)设置窗口宽度高度,如下代码: Console.WriteLine(Console.WindowHeight); Console.WriteLine(Console.Buffer ...

随机推荐

  1. 异步任务队列Celery在Django中的使用

    前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务.在同事的指引下接触了Celery这个异步任务队 ...

  2. Entity Framework Core 1.1 升级通告

    原文地址:https://blogs.msdn.microsoft.com/dotnet/2016/11/16/announcing-entity-framework-core-1-1/ 翻译:杨晓东 ...

  3. 为C# as 类型转换及Assembly.LoadFrom埋坑!

    背景: 不久前,我发布了一个调试工具:发布:.NET开发人员必备的可视化调试工具(你值的拥有) 效果是这样的: 之后,有小部分用户反映,工具用不了(没反应或有异常)~~~ 然后,建议小部分用户换个电脑 ...

  4. const,static,extern 简介

    const,static,extern 简介 一.const与宏的区别: const简介:之前常用的字符串常量,一般是抽成宏,但是苹果不推荐我们抽成宏,推荐我们使用const常量. 执行时刻:宏是预编 ...

  5. 多线程 异步 beginInvoke EndInvoke 使用

    有许多耗时操作时,还要响应用户操作.这时候就需要用其他线程或者异步来搞.本来是改造公司的日志组件.因为多上了个国外大区的业务到来本系统来.这个系统其他地方都好就是日志,动不动就要死给我们看.有时候寻找 ...

  6. CRM 数据密钥 忘记 解决方案

    UPDATE EmailServerProfile SET IncomingPassword=nullUPDATE EmailServerProfile SET OutgoingPassword=nu ...

  7. Bluemix中国版体验(二)

    从上一篇到现在大概有一个多月了.时隔一个月再登录中国版Bluemix,发现界面竟然更新了,现在的风格和国际版已经基本保持一致!这次我们来体验一下Mobile Service.不过mobile serv ...

  8. POJ3693 Maximum repetition substring [后缀数组 ST表]

    Maximum repetition substring Time Limit: 1000MS   Memory Limit: 65536K Total Submissions: 9458   Acc ...

  9. Windows下Nginx配置SSL实现Https访问(包含证书生成)

    Vincent.李   Windows下Nginx配置SSL实现Https访问(包含证书生成) Windows下Nginx配置SSL实现Https访问(包含证书生成) 首先要说明为什么要实现https ...

  10. 理解JavaScript中的“this”

    对于javascript的初学者来说,一般对“this”关键字都感到非常迷惑.本文的目的旨在让你全面的了解“this”,理解在每一个情景下如何使用“this”,希望通过本文,可以帮助同学们不在害怕“t ...