Spak之开发代码

1.spark on yarn

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

/**

 * Created by zzy on 8/27/15.

 */

object SaprkOnYarn {

  def main(args: Array[String]) {

  if(args.length !=2){

    println("args lenght !=2")

    System.exit(0)

  }

  //    val conf = new SparkConf()

  //    conf.setMa

  val sc = new SparkContext     //

  val file = sc.textFile(args(0))     //

  file.cache    //

  val tmp = file.flatMap(_.split(" ")).map(line => (line,1)).reduceByKey(_ + _)

  tmp.saveAsTextFile(args(1))

}

}

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

2.spark on standalone

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

/**

 * Created by zzy on 8/27/15.

 */

object SsdTest {

  def main(args: Array[String]) {

    if(args.length !=2){

      println("args lenght !=2")

      System.exit(0)

    }

//    val conf = new SparkConf()

//    conf.setMa

    val conf  = new SparkConf()     //

    conf.setMaster("spark://192.168.122.213:7077")    //

    conf.setSparkHome("/usr/local/spark/spark-1.4.1-bin-hadoop2.6")    //

    conf.setAppName("StandaloneSparktest")     //

    conf.set("SPARK_EXECUTOR_MEMORY", "1g")     //

    val sc = new SparkContext(conf)     //

    val file = sc.textFile(args(0))     //

    file.cache    //

    val tmp = file.flatMap(_.split(" ")).map(line => (line,1)).reduceByKey(_ + _)

    tmp.saveAsTextFile(args(1))

  }

}
.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

3.pom 文件配置

<repositories>

    <repository>

        <id>Akka repository</id>

        <url>http://repo.akka.io/releases</url>

    </repository>

    <repository>

        <id>cloudera</id>

        <url>https://repository.cloudera.com/artifactory/cloudera-repos/.</url>

    </repository>

    <repository>

        <id>jboss</id>

        <url>http://repository.jboss.org/nexus/content/groups/public-jboss</url>

    </repository>

    <repository>

        <id>Sonatype snapshots</id>

        <url>http://oss.sonatype.org/content/repositories/snapshots/</url>

    </repository>

</repositories>

<build>

    <sourceDirectory>src/</sourceDirectory>

    <testSourceDirectory>src/</testSourceDirectory>

    <plugins>

        <plugin>

            <groupId>org.scala-tools</groupId>

            <artifactId>maven-scala-plugin</artifactId>

            <executions>

                <execution>

                    <goals>

                        <goal>compile</goal>

                        <goal>testCompile</goal>

                    </goals>

                </execution>

            </executions>

            <configuration>

                <scalaVersion>2.10.3</scalaVersion>

            </configuration>

        </plugin>

        <plugin>

            <groupId>org.apache.maven.plugins</groupId>

            <artifactId>maven-shade-plugin</artifactId>

            <version>2.2</version>

            <executions>

                <execution>

                    <phase>package</phase>

                    <goals>

                        <goal>shade</goal>

                    </goals>

                    <configuration>

                        <filters>

                            <filter>

                                <artifact>*:*</artifact>

                                <excludes>

                                    <exclude>META-INF/*.SF</exclude>

                                    <exclude>META-INF/*.DSA</exclude>

                                    <exclude>META-INF/*.RSA</exclude>

                                </excludes>

                            </filter>

                        </filters>

                        <transformers>

                            <transformer

                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">

                                <resource>reference.conf</resource>

                            </transformer>

                            <transformer

                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">

                            </transformer>

                        </transformers>

                    </configuration>

                </execution>

            </executions>

        </plugin>

    </plugins>

</build>

<dependencies>

    <!--spark-->

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-core_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-client</artifactId>

        <version>2.5.0-cdh5.3.0</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-tools_2.10</artifactId>

        <version>1.1.0-cdh5.2.0-SNAPSHOT</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-assembly_2.10</artifactId>

        <version>1.2.0-cdh5.3.3</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-repl_2.10</artifactId>

        <version>1.2.0-cdh5.3.3</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-catalyst_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-network-common_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <!--spark on yarn-->

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-yarn_2.10</artifactId>

        <version>1.2.0-cdh5.3.3</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-network-yarn_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <!--spark-sql-->

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-sql_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-hive_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-hive-thriftserver_2.10</artifactId>

        <version>1.2.0-cdh5.3.3</version>

    </dependency>

    <!--spark-streaming-->

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-streaming_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-streaming-flume_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-streaming-flume-sink_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-streaming-kafka_2.10</artifactId>

        <version>1.2.0-cdh5.3.2</version>

    </dependency>

    <dependency>

        <groupId>org.apache.spark</groupId>

        <artifactId>spark-streaming-kafka-assembly_2.10</artifactId>

        <version>1.3.0-cdh5.4.0</version>

    </dependency>

</dependencies>

仅此献给努力的你我！

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

Spak之开发代码 _pom 配置的更多相关文章

XData -–无需开发、基于配置的数据库RESTful服务，可作为移动App和ExtJS、WPF/Silverlight、Ajax等应用的服务端
XData -–无需开发.基于配置的数据库RESTful服务,可作为移动App和ExtJS.WPF/Silverlight.Ajax等应用的服务端源起一个App项目,Web服务器就一台,已经装了 ...
AngularJS-系统代码的配置和翻译
前言:在Web开发中常常会遇到这样的情况,有些页面的下拉选项是固定不变的几个,比如:性别,一般有男.女.保密等.对于这样的情形我们一般在数据库中存储的是数字或者其对应的代码,如果是可维护的需要系统给出 ...
快速学习C语言三: 开发环境, VIM配置, TCP基础，Linux开发基础，Socket开发基础
上次学了一些C开发相关的工具,这次再配置一下VIM,让开发过程更爽一些. 另外再学一些linux下网络开发的基础,好多人学C也是为了做网络开发. 开发环境首先得有个Linux环境,有时候家里机器是W ...
信息安全系统设计基础实验一:Linux开发环境的配置和使用
北京电子科技学院(BESTI) 实验报告课程:信息安全系统设计基础班级:1353 姓名:芦畅傅冬菁学号:20135308 20135311 成绩: 指导教师:娄家鹏 ...
黑客破译android开发代码真就那么简单？
很多程序员辛辛苦苦开发出的android开发代码,很容易就被黑客翻译了. Google似乎也发现了这个问题,从SDK2.3开始我们可以看到在android-sdk-windows\tools\下面多了 ...
android 开发代码被黑客破译有那么容易吗？
很多程序员辛辛苦苦开发出的android开发代码,很容易就被黑客翻译了. Google似乎也发现了这个问题,从SDK2.3开始我们可以看到在android-sdk-windows\tools\下面多了 ...
CNS数据库网站开发环境的配置
1)下载wamp服务器.使用php来开发 2)配置mysql服务器,主要把原来已有的数据导入到wamp服务器的mysql.改mysql的my.ini里德datadir的地址即可,将datadir设为已 ...
SpringBoot学习(七)-->SpringBoot在web开发中的配置
SpringBoot在web开发中的配置 Web开发的自动配置类:在Maven Dependencies-->spring-boot-1.5.2.RELEASE.jar-->org.spr ...
一个电脑的重装到java开发环境安装配置的全过程
刚拿到一台别人用过的电脑.看着c盘爆满,而且用了还是windows7操作系统,强迫症发作马上就准备重装系统. 之前换固态使用wepe制作U盘启动盘装系统的步骤和过程全部忘记的,贼尴尬. 同事都看不过眼 ...

随机推荐

django 模板中url的处理
在模板中直接添加‘/home’这样的链接是十分不推荐的,因为这是一个相对的链接,在不同网页中打开可能会返回不一样的结果. 所以推荐的是 <a href="{{ object.get_a ...
InteropBitmap指定内存，绑定WPF的Imag控件时刷新问题。
1.InteropBitmap指定内存,绑定WPF的Imag控件的Source属性创建InteropBitmap的时候,像素的格式必须为PixelFormats.Bgr32, 如果不是的话在绑定到I ...
POJ1741:tree
传送门时隔一个月再次写点分治,比上一次要深入理解很多了.(虽然代码还是写不熟模板题,不多说 //POJ 1741 //by Cydiater //2016.9.22 #include <cs ...
struts2文件目录结构
apps 文件夹包含了多个 example 示例应用的压缩包. docs 文件夹包含了 struts 官方的帮助文档. lib 文件夹包含了 struts 提供的类库 jar 包. src 文件夹包含 ...
CSS3-canvas绘制线性渐变
<!doctype html><html><head><meta charset="utf-8"><title>canv ...
C#开发和调用Web Service
http://blog.csdn.net/h0322/article/details/4776819 1.1.Web Service基本概念 Web Service也叫XML Web Service ...
IOS中在自定义控件(非视图控制器)的视图跳转中代理方法与代码块的比较
//代码块与代替代理的设计方法我就以在自定义视图中(非视图控制器,不能实现视图控制功能),通过代理和代码块两种方法分别实现视图的跳转,进行对比首先自定义了一个视图,上面有一个已经注册了得BUtto ...
SVM支持向量机的高维映射与核函数-记录毕业论文2
上一篇博客将了在数据集线性可分的情况下的支持向量机,这篇主要记录如何通过映射到高维解决线性不可分的数据集和如何通过核函数减少内积计算量的理论思想. [5]径向基函数的核函数:https://www.q ...
Python字典和集合
Python字典操作与遍历: 1.http://www.cnblogs.com/rubylouvre/archive/2011/06/19/2084739.html 2.http://5iqiong. ...
linux常用快捷键
linux常用快捷键:ctrl+c 强制终止当前命令ctrl+l 清屏ctrl+a 光标移动到命令行首ctrl+e 光标移动到命令行尾ctrl+u 从光标合所在的位置删除到行首ctrl+z 把命令放到 ...

Spak之开发代码 _pom 配置

Spak之开发代码 _pom 配置的更多相关文章

随机推荐

热门专题