我接触过的大数据有:

1.美国棱镜计划

2.前几天新闻报道的,苹果公司窃取用户隐私

3.百度的用户搜素习惯统计分析

4.淘宝的用户购物习惯分析,智能推荐宝贝

5.浏览器的智能标签页

...

最想了解的大数据架构与算法:

1.著名的Google   网页排名算法:PageRank

2.著名的聚类算法:K-Means

7.CART

3.C4.5

4.k-Means

5.SVM

6.Apriori

...

大数据应用的未来挑战和趋势是:

最大的挑战并非技术和数据本身,而在与人们对于数据的认识和态度。这方面非常多互联网公司做的比較好。它们拥有丰富的数据同一时候也有强烈的盈利需求。能够挖空心思的在各种数据上做文章;而对于非常多传统行业。尤其是政府。首先它们还是相当重视数据的,甚至比互联网公司都要重视。但出于行政管理,组织利益和安全等的考虑数据往往会形成孤岛非常难做到综合利用。

另外一方面的挑战是构建成功的大数据应用须要对业务逻辑和数据处理技术都有比較深入的理解,并且非常难拆解开。由于业务的需求会直接影响究竟层架构的设计以及算法和工具的选择,这一点和传统的交易型系统有非常大差别,所以如今一些行业中的软件+数据库+硬件的分工模式不太适合大数据应用开发,市面上可以对各种因素通盘考虑做总体架构的公司并不多。

趋势的话我的理解,如今技术层面的工具,技术是一个百家齐放的局面,其原因一方面是开源项目的运营模式越来越成熟,还有一方面是大数据的分析处理是多样化的,相信未来非常长一段时间都会维持这个局面,传统的软件开发上已经逐渐向服务提供商转变。产品本身可能变得越来越不重要。贴合用户需求的定制化架构和解决方式可能更加受到欢迎,同一时候云计算的不断发展也将使得未来的架构设计更加轻松,部署和迁移更加便捷。

未来大数据的发展前景是巨大的。如今人们的生活已经离不开大数据了,云计算、云存储、电商等等站点的数据都是大数据,可是大数据的发展的技术还是面临挑战。技术的发展新的技术也在不断更新。所以大数据应用的挑战是结合新技术,不断优化大数据的算法。

大数据存储技术、并行计算、吞吐量

读完试读样章后的启示:

大数据事实上才刚刚起步,正在打垮不发展。面临着非常大的机遇和挑战,海量待挖掘数据,数据切分算法,分布式图计算了解到大数据的精深之处。要学习的还有非常多,我感觉到了自己的不足之处,大数据加油。你一定会更好更牛逼,我看好你哦。希望你可以带我飞的更高,go,go。

。。

带你装B,带你飞的大数据时代的更多相关文章

  1. 柯南君:看大数据时代下的IT架构(3)消息队列之RabbitMQ-安装、配置与监控

    柯南君:看大数据时代下的IT架构(3)消息队列之RabbitMQ-安装.配置与监控 一.安装 1.安装Erlang 1)系统编译环境(这里采用linux/unix 环境) ① 安装环境 虚拟机:VMw ...

  2. 软件测试工程师人手必备的一只:TOM猫,可以带你装逼带你飞!

    Hi,你来了? 其实没有猫,为了让你们好好学习,天天向上!我可真的是拼了命了! 写这篇文章的缘由是,近期有同学经常问到一个这样的问题: 老师,tomcat是啥? 老师,Linux是啥? 老师,xshe ...

  3. [转载] vim带你装逼带你飞(一)

    前言:逃离windows有很长时间了,特别是当今android盛行的时代,我们没有理由不选择ubuntu作为编译开发android之首选.其实操作系统只是我们使用的一个工具, windows也好lin ...

  4. js一些稀奇古怪的写法-带你装逼带你飞

    //定时器的第三个参数 setInterval(function(str1,str2,num){ alert(str1+str2+num) },1000,'参数1','还可以有很多参数,不同的类型.. ...

  5. vim带你装逼带你飞(一)

    前言:逃离windows有很长时间了,特别是当今android盛行的时代,我们没有理由不选择ubuntu作为编译开发android之首选.其实操作系统只是我们使用的一个工具, windows也好lin ...

  6. vim带你装逼带你飞(二)

    上篇我贴上了我使用的vim配置及插件配置,有这些东西只能是一个脚本堆积,无从谈高效的代码阅读开发. 下面我们就来写经常使用的命令,就从配置F系列快捷键开始吧. F+ n 快捷键配置 F1基本上时帮助, ...

  7. 《带你装B,带你飞》pytest修炼之路1- 简介和环境准备

    1. pytest简介 pytest是python的一种单元测试框架,与python自带的unittest测试框架类似,但是比unittest框架使用起来更简洁,效率更高.根据pytest的官方网站介 ...

  8. 《带你装B,带你飞》pytest成神之路2- 执行用例规则和pycharm运行的三种姿态

    1. 简介 今天北京下的雪好大好美啊!!!哎呀,忘记拍照片了,自己想象一下吧.言归真传,今天还是开始pytest的学习和修炼,上一篇写完后群里反响各式各样的,几家欢乐几家愁,有的高兴说自己刚好要用到了 ...

  9. 《带你装B,带你飞》pytest修仙之路3 - setup/teardown

    1. 简介 学过unittest的都知道里面用前置和后置setup和teardown非常好用,在每次用例开始前和结束后都去执行一次.当然还有更高级一点的setupClass和teardownClass ...

随机推荐

  1. 对比hive和mysql查询汇总

    由于底层的处理机制大不相同,hive和mysql在查询上还是有较大差异的! 单个表的select操作 最简单的查询 ,字段2 frome 表名 where 字段 [not]in(元素1,元素2): 例 ...

  2. 用PHP开发自己的独立博客(一)——概述

    开篇废话:因为重新回归朝九晚五的生活,于是就想开始写技术博客,当是做技术文档了.于是试用了各类博客,CSDN.cnblogs都还不错.简单试用了一下,说说各自的特点. CSDN的界面不能定制,使用默认 ...

  3. MySql学习笔记(二) —— 正则表达式的使用

    前面介绍利用一些关键字搭配相应的SQL语句进行数据库查找过滤,但随着过滤条件的复杂性的增加,where 子句本身的复杂性也会增加.这时我们就可以利用正则表达式来进行匹配查找. 1.基本字符匹配 ' o ...

  4. Redis系列(三)--消息队列、排行榜等

    Redis命令执行生命周期: 发送命令--->排队(单线程)--->执行命令--->返回结果 慢查询: 只是针对命令执行阶段 慢查询日志通过一个固定长度的FIFO queue,这个q ...

  5. 15Oracle Database 索引

    Oracle Database 索引 索引 索引的目的是加快查询速度,就像一本数据的目录一样.建立索引的原则:非常少的DML操作:经常出现在where语句中的字段 2.20.1.建立索引 l  对t_ ...

  6. A6. JVM 垃圾回收算法(GC 算法)

    [概述] 常见的垃圾回收算法有:标记-清除算法.复制算法.标记-整理算法.分代收集算法. [标记-清除算法] 标记-清除算法是最基础的收集算法,如同它的名字一样,算法分为 “标记” 和 “清除” 两个 ...

  7. Linux的net.ipv4.tcp_timestamps参数

    Q1 今天发生了一个奇怪的现象,在家里始终打开公司的网站打开不了,我就齐了怪了,然后我就各种测试,从ping到dig域名,然后再curl,都是没有问题的,但是就是打不开,最好没有办法只能抓包了,从抓包 ...

  8. 52.基于doc value正排索引的聚合内部原理

    主要知识点: 本节没有太懂,以后复习时补上       聚合分析的内部原理是什么????aggs,term,metric avg max,执行一个聚合操作的时候,内部原理是怎样的呢?用了什么样的数据结 ...

  9. Laravel学习:请求到响应的生命周期

    Laravel请求到响应的整个执行过程,主要可以归纳为四个阶段,即程序启动准备阶段.请求实例化阶段.请求处理阶段.响应发送和程序终止阶段. 程序启动准备阶段 服务容器实例化 服务容器的实例化和基本注册 ...

  10. MySQL Insert数据量过大导致报错 MySQL server has gone away

    接手了同事的项目,其中有一个功能是保存邮件模板(包含图片),同事之前的做法是把图片进行base64编码然后存在mysql数据库中(字段类型为mediumtext)然后保存三张图片(大概400k)的时候 ...