通过搭建和运行example,我们初步认识了spark. 大概是这么一个流程 ------------------------------                 ----------------------              ---------------------- | Application(spark shell) |   <=>       | Spark Master       |  <=>   |    Spark Slavers   | ----…

spark是个啥? Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发. Spark和Hadoop有什么不同呢? Spark是基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法.   Spark的适用场景 Spark是基于内存的迭代计算框架,适用于需…

部署暂时先用默认配置,我们来看看如何提交计算程序到spark上面. 拿官方的Python的测试程序搞一下. qpzhang@qpzhangdeMac-mini:~/project/spark-1.3.0-bin-hadoop2.4 $cat examples/SimpleApp.py """SimpleApp.py""" from pyspark import SparkContext logFile = "./README.md&qu…

mesos集群部署参见上篇. 运行在mesos上面和 spark standalone模式的区别是: 1)stand alone 需要自己启动spark master 需要自己启动spark slaver(即工作的worker) 2)运行在mesos 启动mesos master 启动mesos slaver 启动spark的 ./sbin/start-mesos-dispatcher.sh -m mesos://127.0.0.1:5050 配置spark的可执行程序的路径(也就是mesos里…

捣鼓了一下,先来个手动挡吧.自动挡要设置ssh无密码登陆啥的,后面开搞. 一.手动多台机链接master 手动链接master其实上篇已经用过. 这里有两台机器: 10.60.215.41 启动master.worker1.application(spark shell) 10.0.2.15 启动worker2 具体步骤如下: 1.在10.60.215.41 上 $SPARK_HOME $ ./sbin/start-master.sh $SPARK_HOME $./bin/spark-class…

前言 作为一个Java开发者,Java架构师应该是大家的一个职业目标了吧. 要成为Java架构师,首先你要是一个高级Java工程师,熟练使用各种框架,并知道它们实现的原理.jvm虚拟机原理.调优,懂得jvm能让你写出性能更好的代码: 什么对象池,连接池,线程池...java反射技术,写框架必备的技术,但是有严重的性能问题,替代方案java字节码技术;nio,没什么好说的,值得注意的是"直接内存"的特点,使用场景;java多线程同步异步: java各种集合对象的实现原理,了解这些可以让你…

转自:http://blog.csdn.net/androidlushangderen/article/details/45955833 storm学习系列:http://blog.csdn.net/Androidlushangderen/article/category/2647213 前言 什么是storm,storm是做什么的,一个简单的描述,你可以理解为是一个“准实时”的Hadoop,Hadoop是专门做的是离线数据处理,而storm则弥补了Hadoop在这方面的不足,他是一个实时数据处…

spark 源码编译 scala 版本2.11.4 os:ubuntu 14.04 64位 memery 3G spark :1.1.0 下载源码后解压 1 准备环境,安装jdk和scala,具体参考:http://www.cnblogs.com/chenfool/p/3858930.html 2 编译 其实spark 官网上说得挺详细的,但是使用官网介绍的方法,在下载依赖包时,被天朝墙了,导致总是下载不成功.幸好还有一个maven的编译方法,下面网址是spark官网介绍如何使用maven编译s…

目录 1 背景 1.1 为什么需要分布式文件服务 1.1.1 单机时代 1.1.2 独立文件服务器 1.1.3 分布式文件系统 1.2 什么是FastDFS 2 系统架构 2.1 Tracker集群 2.2 Storage集群 2.3 Storage状态收集 2.4 FastDFS的上传过程 2.5 FastDFS的文件同步 2.6 FastDFS的文件下载 1 背景 1.1 为什么需要分布式文件服务 1.1.1 单机时代 初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立…

动态应用,是相对于网站静态内容而言,是指以c/c++.php.Java.perl..net等服务器端语言开发的网络应用软件,比如论坛.网络相册.交友.BLOG等常见应用.动态应用系统通常与数据库系统.缓存系统.分布式存储系统等密不可分. 大型动态应用系统平台主要是针对于大流量.高并发网站建立的底层系统架构.大型网站的运行需要一个可靠.安全.可扩展.易维护的应用系统平台做为支撑,以保证网站应用的平稳运行. 大型动态应用系统又可分为几个子系统: 1)Web前端系统 2)负载均衡系统 3)数据库集群系…