去spark官网把spark下载下来：

https://spark.apache.org/downloads.html

解压，可以看下目录：

其中examples目录下提供了java,scala,python,R语言的各种例子。点进src目录可以看到源代码，如：

放在linux放一份，解压，就可以直接使用了。

一.运行sparkstreaming的wordCount

1.开一个窗口，开启netcat，输入：

nc -lk 9999

2.另开一个窗口，进入spark安装目录下，运行NetworkWordCount例子：

./bin/run-example streaming.NetworkWordCount localhost 9999

　　运行结果：

运行Spark官方提供的例子的更多相关文章

  1. 运行spark官方的graphx 示例 ComprehensiveExample.scala报错解决

    运行spark官方的graphx 示例 ComprehensiveExample.scala报错解决 在Idea中,直接运行ComprehensiveExample.scala,报需要指定master ...

  2. 运行spark自带的例子出错及解决

    以往都是用java运行spark的没问题,今天用scala在eclipse上运行spark的代码倒是出现了错误 ,记录 首先是当我把相关的包导入好后,Run,报错: Exception in thre ...

  3. [Spark][Python][Application]非交互式运行Spark Application 的例子

    非交互式运行Spark Application 的例子 $ cat Count.py import sys from pyspark import SparkContext if __name__ = ...

  4. Spark官方文档翻译（一）~Overview

    Spark官方文档翻译,有问题请及时指正,谢谢. Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spa ...

  5. 基于Mesos运行Spark

    背景介绍 Spark有多种集群运行模式,例如:Standalone,Yarn,Mesos.      下面就说一下如何在Mesos上运行Spark,这也是官方推荐的一种运行方式.      在运行Sp ...

  6. Spark官方1 ---------Spark SQL和DataFrame指南（1.5.0）

    概述 Spark SQL是用于结构化数据处理的Spark模块.它提供了一个称为DataFrames的编程抽象,也可以作为分布式SQL查询引擎. Spark SQL也可用于从现有的Hive安装中读取数据 ...

  7. Spark官方调优文档翻译（转载）

    Spark调优 由于大部分Spark计算都是在内存中完成的,所以Spark程序的瓶颈可能由集群中任意一种资源导致,如:CPU.网络带宽.或者内存等.最常见的情况是,数据能装进内存,而瓶颈是网络带宽:当 ...

  8. Spark官方2 ---------Spark 编程指南（1.5.0）

    概述 在高层次上,每个Spark应用程序都由一个运行用户main方法的driver program组成,并在集群上执行各种 parallel operations.Spark提供的主要抽象是resil ...

  9. Spark入门（1-4）安装、运行Spark

    如何安装Spark 安装和使用Spark有几种不同方式.你可以在自己的电脑上将Spark作为一个独立的框架安装或者从诸如Cloudera,HortonWorks或MapR之类的供应商处获取一个Spar ...

随机推荐

  1. c++ Convert struct to bytes

    D:\stock\Tskingfromgoogle\src\NetTS\TW.cpp Convert struct  to bytes //Convert struct to bytes 2019/0 ...

  2. [转载]Linux运行模式及紧急、救援模式

    运行模式 在Linux中,存在一个叫init(initialize)的进程,其进程号是1,该进程存在一个对应的配置文件inittab,叫做系统的运行级别配置文件,位置在/etc/inittab.(但是 ...

  3. 已知两个int变量a、b，定义4个方法分别对变量a、b进行加减乘除运算，并测试结果。

    package com.fs.test; public class Test { public void aMethod(int a, int b) { int add = a + b;//*表示加法 ...

  4. vue-nuxt--切换布局文件

    1.暂时没有找到服务器端渲染 非服务器端切换: window.$nuxt.setLayout('blog')

  5. 多层 iframe 嵌套 js 方法调用

    一下午一个这破问题,浪费了不少时间,怎么也实现不了我的上上级iframe 刷新.NND. 实现了,记录一下下吧: window.parent.parent.document.getElementByI ...

  6. html获取摄像头和相册

    <input type="file" accept="video/*";capture="camcorder"> <inp ...

  7. JS 一位数左边补零

  8. python-进程、线程与协程

    基础概念 进程 是一个执行中的程序,即将程序装载到内存中,系统为它分配资源的这一过程.进程是操作系统资源分配的基本单位. 每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text regio ...

  9. 解决input 中placeholder的那些神坑

    **昨天后台小哥哥提到placehold无法显示问题,我这边总结一下,顺便写个小文章分享给大家..** ============================================== 一 ...

  10. 【NOIP2016提高A组集训第4场11.1】平衡的子集

    题目 夏令营有N个人,每个人的力气为M(i).请大家从这N个人中选出若干人,如果这些人可以分成两组且两组力气之和完全相等,则称为一个合法的选法,问有多少种合法的选法? 分析 如果暴力枚举每个人被分到哪 ...