(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.參会有感

      首先还是非常感谢CSDN能给我票,让我有机会參加这次中国云计算峰会。感觉不写点什么对不起CSDN送我的门票(看到网上卖一千多一张呢)。
        还是得从国家会议中心说起,两年前lz以前在那当过IDF的志愿者,当时是纯体力劳动,负责给參会人员发一些杂志什么的,当时苦逼的为了多蹭一个盒饭躲到柜子后面直到开饭。真没想到两年后能够以来宾的身份參加国家会议中心的大会(尽管午餐还是苦逼的盒饭吧),这次真的能够走进主会议场聆听专家们的报告。说实话,一进主会议场看到几千个码农,都是差点儿相同的装扮,真的有点小震撼。
        听了几个院士和运营商老总的报告,最震撼的还是微软副总裁王亚勤先生的演讲,感觉挺震撼的。不得不说微软就是微软(大家能够搜搜这段演讲看一下),他说的有一句话非常有意思“从互联网让我们从物理变为虚拟,如今云让我们从虚拟变回物理”(没看懂的能够留言讨论哈)。
        參加这次大会不是为了学一个算法或是什么,应该是从宏观上了解云的发展。李德毅院士说:云就是计算P级数据的能力。确实,随着数据过剩的时代已经到来。数据成了解决这个问题的基础,算法是解决这个问题的工具,云就是我们的途径。

2.云就在身边

     以下写下我近期在操作阿里云的一些感受,博主參加了阿里的天猫大数据竞赛,靠着抱大腿战术成功入围S2,阿里给每一个进入S2阶段的队伍开设了server端的账号。先秀一下,阿里云端的虚拟机界面,(苦逼的xp)
以下一行黑色的就是阿里云odps的命令行工具,在里面能够进行数据库操作,主要是sql语句。我的理解是这个odps就是hadoop的改版,不知道这样的说法对不正确。
        记得当年,我们寝室的czx问我们几个什么是云,旭哥说了:“我认为云就是分布式。”

(1)MR

        分布式就是将大量的数据运算依照一定规则分配到云上的无数个server上,并行完毕,这样就能够极大地提高运算效率。然而,怎样分配,计算完又怎样将数据汇总,这就依赖于MapReduce了,这里简称MR。
        MR来源于google的一篇论文,MR分为mapper和reducer,mapper是将数据分割为key,value对的形式,reducer是对每一个key的value的逻辑进行计算。driver负责一些传入传出的数据入口。上个图吧,这是我在阿里server上的一个MR程序
        写好的MR程序,export成为jar文件,再传到云上,将数据库的table输入就能够实现相应的算法了。

(2)udf

         udf就是实现云端的sql的function函数。举个样例,比方说有个表,里面的数据是412142=>3522。我们想以中间的箭头符号为分隔,获取412142或是3522.由于sql中是没有相似于splite的函数的。所以我们要写一个sql的function实现这个功能。这个function我们用java写好,仅仅要将生成的jar文件放到云端,就能够调用。
       
          以上是我对于云的一些感受和看法,欢迎大家留言讨论!

云计算大会有感—MapReduce和UDF的更多相关文章

  1. 小编接地气——第六届中国云计算大会攻略Q&A

    2014年5月20-23日,第六届中国云计算大会在北京召开. 花个1000多元,在工作日请假来參加大会,不能让大家白跑一趟而是物有所值. 小编写了大会攻略Q&A,分享给各位 Q:为什么要參加关 ...

  2. 为什么说2017全球云计算大会中国站 (Cloud Connect China 2017)不得不参加?

    2017全球云计算大会中国站将继续关注全球云计算产业现状及最热门的领域,设立主题论坛.2017全球云计算大会中国站将于2017年9月5-7日在上海世博展览馆.正如去年9月活动现场所预告的,2017年除 ...

  3. 参加微软Ignite大会有感

    很有幸作为MVP参加了本次微软中国的年度技术大会(Ignite).跳出技术领域,这次会议给我最大的感受是态度.这几年不论是开源现有技术,还是黑科技的发布,都给人感觉微软在逐渐变得cool,但是cool ...

  4. 參加北京bluemix云计算大会偶记

    我就不写散文了.博客也要轻量化. 记录心路历程吧. 这是一次ibm的技术大会.也是传道大会,洗脑大会.会议主题看起来非常多,占领了北京国际饭店的三层,作为一个老ibm bp感受非常多. 1.北京的创业 ...

  5. 云计算(6)--一些MapReduce的例子

    例1:文件的字符串查找 这里reduce不做merge的工作,因为每行都是不一样的,不能merge. 与传统的grep程序相比,使用MapReduce可以加快处理,因为1它是Distributed的, ...

  6. 2014 BDTC 參会有感

    中国大数据技术大会(Big Data Technology Conference,BDTC)是眼下国内最具影响.规模最大的大数据领域的技术盛会. 大会的前身是Hadoop中国云计算大会(Hadoop ...

  7. 2016中国大数据技术大会( BDTC ) 共商大数据时代发展之计

    中国大数据技术大会(BDTC)的前身是Hadoop中国云计算大会(HadoopinChina,HiC).从2008年仅60余人参加的技术沙龙发展到当下数千人的技术盛宴,目前已成为国内最具影响力.规模最 ...

  8. 2014 BDTC 参会有感

    中国大数据技术大会(Big Data Technology Conference,BDTC)是目前国内最具影响.规模最大的大数据领域的技术盛会.大会的前身是Hadoop中国云计算大会(Hadoop i ...

  9. 海量数据挖掘MMDS week1: MapReduce

    http://blog.csdn.net/pipisorry/article/details/48443533 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Le ...

随机推荐

  1. ActiveMQ之VirtualTopic是什么?

    一句话总结: VirtualTopic是为了解决持久化模式下多消费端同时接收同一条消息的问题.   想象这样一个场景:   生产端产生了一笔订单,作为消息MessageOrder发了出去. 这笔订单既 ...

  2. HDU 4632 Palindrome subsequence(区间DP求回文子序列数)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4632 题目大意:给你若干个字符串,回答每个字符串有多少个回文子序列(可以不连续的子串).解题思路: 设 ...

  3. HDU 3360 National Treasures(最小点覆盖)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=3360 题目大意: 在一个n*m的格子中,每个格子有一个数值,-1表示空,其余表示财宝.每个财宝的数值转 ...

  4. 2016-2017-2 20155309南皓芯《java程序设计》第七周学习总结

    教材学习内容总结 Lambda 一种匿名方法 表达式构成 括号以及括号里用逗号分隔的参数列表 仅有一个参数的可以省略括号 ->符号 花括号以及花括号里的语句 仅有一条语句时可以省略花括号,并且这 ...

  5. 浅谈C、C++及其区别、兼容与不兼容

    一.闲说C C语言之所以命名为C,是因为C语言源自Ken Thompson发明的B语言,而 B语言则源自BCPL语言. 1967年,剑桥大学的Martin Richards对CPL语言进行了简化,于是 ...

  6. mysql 5.1 下载地址 百度云网盘下载

    mysql 百度云下载 链接: https://pan.baidu.com/s/1fPSEcgtDN7aU2oQ_sL08Ww 提取码: 关注公众号[GitHubCN]回复2539获取

  7. hbase 性能调

    一. HBase的通用优化 1 高可用 在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期,均衡 RegionServer 的负载,如果 Hmaster 挂掉了,那么整 ...

  8. 修改linux系统编码

    方法1: vi   /etc/sysconfig/i18n 默认为: LANG="en_US.UTF-8"SYSFONT="latarcyrheb-sun16" ...

  9. 【Java】 int与String类型间的相互转化

    public class Test { public static void main(String[] args) { /* * int类型转String类型 */ int n1 = 9; //1. ...

  10. IntelliJ IDEA 2017.2安装

    1.准备(终极版) 2.安装 3.破解 4.成功