对于这里的打包,总结:

  (1)     最简单的,也是为了适应公司里,还是要用maven,当然spark那边sbt,maven都可以。但是maven居多。

Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序?(企业级水平)

IDEA里如何多种方式打jar包,然后上传到集群

Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)(包含Java和Scala版的WordCount)(博主强烈推荐)

  (2)     将整个项目打jar包进去,只需指定想要的类即可。比如你直接打成一个总的jar包,如guangdiang.jar。

[hadoop@master jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR
[hadoop@master jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR

  (3)     直接将你想要的类打成jar包即可,比如guangdiangACCR.jar。

[hadoop@master jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR

或

[hadoop@master jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR

  比如guangdiangACPR.jar。

[hadoop@master jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR

或

[hadoop@master jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating hdfs://master:9000/tv-out-ECN/part-r-00000 hdfs://master:9000/tv-out-EPAARN/part-r-00000 hdfs://master:9000/tv-out-ACPR

  

  成功!

关于大数据领域各个组件打包部署到集群运行的总结(含手动和maven)(博主推荐)的更多相关文章

  1. 【大数据之数据仓库】安装部署GreenPlum集群

    本篇将向大家介绍如何快捷的安装部署GreenPlum测试集群,大家可以跟着我一块儿实践一把^_^ 1.主机资源 申请2台网易云主机,操作系统必须是RedHat或者CentOS,配置尽量高一点.如果是s ...

  2. Spark学习笔记3(IDEA编写scala代码并打包上传集群运行)

    Spark学习笔记3 IDEA编写scala代码并打包上传集群运行 我们在IDEA上的maven项目已经搭建完成了,现在可以写一个简单的spark代码并且打成jar包 上传至集群,来检验一下我们的sp ...

  3. CentOS6安装各种大数据软件 第五章:Kafka集群的配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  4. 大数据Hadoop的HA高可用架构集群部署

        1 概述 在Hadoop 2.0.0之前,一个Hadoop集群只有一个NameNode,那么NameNode就会存在单点故障的问题,幸运的是Hadoop 2.0.0之后解决了这个问题,即支持N ...

  5. 大数据基础知识:分布式计算、服务器集群[zz]

    大数据中的数据量非常巨大,达到了PB级别.而且这庞大的数据之中,不仅仅包括结构化数据(如数字.符号等数据),还包括非结构化数据(如文本.图像.声音.视频等数据).这使得大数据的存储,管理和处理很难利用 ...

  6. 大数据平台搭建 - cdh5.11.1 - hadoop集群安装

    一.前言 由于线下测试的需要,需要在公司线下(测试)环境搭建大数据集群. 那么CDH是什么? hadoop是一个开源项目,所以很多公司再这个基础上进行商业化,不收费的hadoop版本主要有三个,分别是 ...

  7. 流式大数据计算实践(2)----Hadoop集群和Zookeeper

    一.前言 1.上一文搭建好了Hadoop单机模式,这一文继续搭建Hadoop集群 二.搭建Hadoop集群 1.根据上文的流程得到两台单机模式的机器,并保证两台单机模式正常启动,记得第二台机器core ...

  8. 大数据平台搭建 - cdh5.11.1 - hbase集群搭建

    一.简介 HBase是一种构建在HDFS之上的分布式.面向列的存储系统.在需要实时读写.随机访问超大规模数据集时,可以使用HBase. 尽管已经有许多数据存储和访问的策略和实现方法,但事实上大多数解决 ...

  9. 大数据学习系列(7)-- hadoop集群搭建

    1.配置ssh免登陆 #进入到我的home目录 cd ~/.ssh ssh-keygen -t rsa 执行完这个命令后,会生成两个文件id_rsa(私钥).id_rsa.pub(公钥) 将公钥拷贝到 ...

随机推荐

  1. Oracle通过PLSQL进行数据表之间的同步

    昨天被要求拉取第三方oracle中的一个表数据,起初以为要导出表数据,然后再自己库中建个相同的表,然后导入数据,查过资料之后oracle可以通过dblink的方式同步表数据. 1.首先利用PLSQL工 ...

  2. 将Sql2008的数据库转到2005

    今天碰到一个特别伤心的事情. 事情的起因是这样的,现在我负责评教系统的维护工作.由于中途服务器转迁,迁移之前数据库版本是2005,而现在的服务器版本是2008R2的.在这个过程并没有发生什么问题. 问 ...

  3. SPFA算法O(kE)

    SPFA算法O(kE) Dijkstra和Floyed是不断的试点.Dijkstra试最优点,Floyed试所有点. Bellman-Ford和SPFA是不断的试边.Bellman-Ford是盲目的试 ...

  4. Win7使用之查端口,杀进程

    对 Win7 的 cmd 使用不熟练,这里记录下经常用到的命令吧! 查看所有端口占用情况:netstat -ano 查看指定端口占用情况:netstat -ano | findstr "80 ...

  5. java: file/outputStream/InputStream 复制文件

    java i/o 复制文件 public static void main(String[] args) throws Exception { // TODO 自动生成的方法存根 if(args.le ...

  6. 《Advanced Bash-scripting Guide》学习(十九):两个整数的最大公约数

    本文所选的例子来自于<Advanced Bash-scripting Gudie>一书,译者 杨春敏 黄毅 #!/bin/bash #求两个整数的最大公约数 E_BADARGS= #如果参 ...

  7. linux服务器应用NTP配置时间同步

    linux服务器应用NTP配置时间同步 • 为什么建议使用ntpd而不是ntpdate? #####原因很简单,ntpd是步进式的逐渐调整时间,而ntpdate是断点更新,比如现在服务器时间是9.18 ...

  8. 如何实现vue-cli搭建的前端项目的自动打包

    实现vue-cli + webpack +vue项目的自动打包: 后台java代码: public class OpenDirectory { public static void main(Stri ...

  9. LeetCode OJ:Basic Calculator(基础计算器)

    Implement a basic calculator to evaluate a simple expression string. The expression string may conta ...

  10. 455. Assign Cookies Add to List

    Assume you are an awesome parent and want to give your children some cookies. But, you should give e ...