---------------------------------MR汇聚工具步骤-----------------------------------
-- 1、需要连上141服务器 用户:root 密码:Richr00t
-- 2、【MR汇聚工具】
--3、位置 141目录下进入后切换fast用户 su fast
/home/fast/luohai/Projects

------------------------第一步首先需要创建外部表-----------------------------

【MR定位表建立工具】
--4、建立MR定位数据的外部表
/home/elastic-combine/yyl/mro_load_hive
--5、执行建立外部表
sh ./mro_load_hive_jingdui.sh 地市名(大写)、日期(如:20180921)

--6、进入MR定位表建立工具目录下创建所需要创建的地市外部表
如: sh ./mro_load_hive_jingdui.sh ZHUMADIAN 20180921

--7、需要删除外部表可以执行
sh ./mro_delete_jingdui.sh
如：sh ./mro_delete_jingdui.sh ZHUMADIAN 20180921

-----------------------创建完外部表需要配置文件----------------------
--9、需要配置的文件有conf、run
bin:大脑
conf:配置文件
jars:存放java包
log: 存放日志
origin:传参工具
run:存放shell脚本
sql:存放元数据表

--10、--------------------第二步配置conf目录下-----------------------------位置/home/fast/luohai/Projects/conf
所需要配置的文件有TOT.conf、TOT_ROAD.conf、TOT_SCENE.conf进入修改文件需要vim
栅格 道路 场景

如 vim TOT.conf vim是一个编译器只能编译文件也可以创建文件

1.TOT.conf (CITYNAME、DATE)需要修改的文件
###可以修改也可以不用修改(由素绢发来的邮件为准)
CITYNAME=ZHENGZHOU
###日期必须修改(由素绢发来的邮件为准)
DATE=20180921,20180925

2.TOT_ROAD.conf(CITYNAME、DATE)需要修改的文件
###可以修改也可以不用修改(由素绢发来的邮件为准)
CITYNAME=ZHENGZHOU
###日期必须修改(由素绢发来的邮件为准)
DATE=20180921,20180925

3.TOT_SCENE.conf
###可以修改也可以不用修改(由素绢发来的邮件为准)
CITYNAME=ZHENGZHOU
###日期必须修改(由素绢发来的邮件为准)
DATE=20180921,20180925

---------------------第三部配置run目录下------------------------------------位置/home/fast/luohai/Projects/run
配置文件run_by_city.sh下的

###必须要修改的地市名(由素绢发来的邮件为准)
也可以多个地市跑 以空格来分隔
CITYNAMES="地市名 地市名"

sh $APP_HOME/run/runMain.sh TOT $CITYNAME (栅格级)
sh $APP_HOME/run/runMain.sh TOT_SCENE $CITYNAME (场景级)
sh $APP_HOME/run/runMain.sh TOT_ROAD $CITYNAME (道路级)

须知:每跑一个地市需要全部打开这三个栅格级、场景级、道路级的文件
配置好开启run_by_city.sh
sh ./run_by_city.sh 开启后会出现以下现象

info] 2018-10-19 10:11:28 using project:TOT
[info] 2018-10-19 10:11:28 cities to run:LUOYANG
[info] 2018-10-19 10:11:28 running:LUOYANG
[info] 2018-10-19 10:11:28 fetch confgure cityname:LUOYANG,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-19 10:11:28 log file is /home/fast/luohai/Projects/log/TOT.log
[info] 2018-10-19 10:11:28 render FINISH.
[info] 2018-10-19 10:11:28 start run spark:TOT

###开启后出现start run spark:TOT就是正在跑数据
一般跑完需要好几个小时我们要时刻监控着

###跑完一般会出现两种情况成功和报错
###第一种运行成功如下:Succeed
using project:TOT
[info] 2018-10-15 18:07:07 cities to run:ZHOUKOU
[info] 2018-10-15 18:07:07 running:ZHOUKOU
[info] 2018-10-15 18:07:07 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 18:07:07 log file is /home/fast/luohai/Projects/log/TOT.log
[info] 2018-10-15 18:07:07 render FINISH.
[info] 2018-10-15 18:07:07 start run spark:TOT
[info] 2018-10-15 21:30:40 Succeed end run spark:TOT #出现Succeed就是没有问题
[info] 2018-10-15 21:30:40 using project:TOT_SCENE
[info] 2018-10-15 21:30:40 cities to run:ZHOUKOU
[info] 2018-10-15 21:30:40 running:ZHOUKOU
[info] 2018-10-15 21:30:40 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 21:30:40 log file is /home/fast/luohai/Projects/log/TOT_SCENE.log
[info] 2018-10-15 21:30:40 render FINISH.
[info] 2018-10-15 21:30:40 start run spark:TOT_SCENE
[info] 2018-10-15 23:03:08 Succeed end run spark:TOT_SCENE #出现Succeed就是没有问题
[info] 2018-10-15 23:03:08 using project:TOT_ROAD
[info] 2018-10-15 23:03:08 cities to run:ZHOUKOU
[info] 2018-10-15 23:03:08 running:ZHOUKOU
[info] 2018-10-15 23:03:08 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 23:03:08 log file is /home/fast/luohai/Projects/log/TOT_ROAD.log
[info] 2018-10-15 23:03:08 render FINISH.
[info] 2018-10-15 23:03:08 start run spark:TOT_ROAD
[info] 2018-10-15 23:38:47 Succeed end run spark:TOT_ROAD #出现Succeed就是没有问题

###第二种情况 Failed

[info] 2018-10-15 18:07:07 cities to run:ZHOUKOU
[info] 2018-10-15 18:07:07 running:ZHOUKOU
[info] 2018-10-15 18:07:07 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 18:07:07 log file is /home/fast/luohai/Projects/log/TOT.log
[info] 2018-10-15 18:07:07 render FINISH.
[info] 2018-10-15 18:07:07 start run spark:TOT
[info] 2018-10-15 21:30:40 Failed end run spark:TOT #出现Failed就是有问题
[info] 2018-10-15 21:30:40 using project:TOT_SCENE
[info] 2018-10-15 21:30:40 cities to run:ZHOUKOU
[info] 2018-10-15 21:30:40 running:ZHOUKOU
[info] 2018-10-15 21:30:40 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 21:30:40 log file is /home/fast/luohai/Projects/log/TOT_SCENE.log
[info] 2018-10-15 21:30:40 render FINISH.
[info] 2018-10-15 21:30:40 start run spark:TOT_SCENE
[info] 2018-10-15 23:03:08 Failed end run spark:TOT_SCENE #出现Failed就是有问题
[info] 2018-10-15 23:03:08 using project:TOT_ROAD
[info] 2018-10-15 23:03:08 cities to run:ZHOUKOU
[info] 2018-10-15 23:03:08 running:ZHOUKOU
[info] 2018-10-15 23:03:08 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 23:03:08 log file is /home/fast/luohai/Projects/log/TOT_ROAD.log
[info] 2018-10-15 23:03:08 render FINISH.
[info] 2018-10-15 23:03:08 start run spark:TOT_ROAD
[info] 2018-10-15 23:38:47 Failed end run spark:TOT_ROAD #出现Failed就是有问题

出现Failed我们需要检查是不是外部表没有创建好，我们需要一一排查

--------------------------------------最后一步去hive里执行龙哥写好的脚本-----------------------------------------
1.进入hive执行命令
su hive 切换成hive用户
2.在执行hive就成功进入hive了
hive
3.进入wk5库
show databases;查看拥有的数据库
use fastdo_lte_wk5;进入wk5库

4.需要修改龙哥写好的脚本的地市名
#在去wk5库进行汇聚

MR汇聚工具步骤的更多相关文章

  1. ceph存储集群性能测试工具步骤（初稿）

    一.源码安装fio工具: #yum install libaio-devel make #wget http://brick.kernel.dk/snaps/fio-2.2.10.tar.gz #ta ...

  2. 【安装vsftpd】安装vsftpd工具步骤

    1 安装vsftpd组件 [root@bogon ~]# yum -y install vsftpd 安装完后,有/etc/vsftpd/vsftpd.conf 文件,是vsftp的配置文件. 2 添 ...

  3. mount加载虚拟机增强工具步骤

    1.创建一个挂载目录sudo mkdir /mnt/cdrom 2.在C:\Program Files\Oracle\VirtualBox\VBoxGuestAdditions.iso中添加该文件 3 ...

  4. 数据集成工具Teiid Designer的环境搭建

    由于实验室项目要求的关系,看了些数据汇聚工具 Teiid 的相关知识.这里总结下 Teiid 的可视化配置工具 Teiid Designer 的部署过程. 背景知识 数据集成是把不同来源.格式.特点性 ...

  5. cocos2d-lua 3.5 ios搭建步骤

    xcode搭建cocos2d-lua是最简单的,不用 配置一系列环境变量,只把xcode安装好就可以 步骤一:去官网下载quick-3.5,然后打开命令行工具 步骤二:cd进入/Users/song/ ...

  6. 周一01.4安装PyCharm步骤

    安装集成开发工具 步骤一 步骤二 步骤三 步骤四

  7. JS模块化开发（四）——构建工具gulp

    gulp.js——基于流的自动化构建工具 步骤: 1. 全局安装 gulp: $ npm install --global gulp 2. 作为项目的开发依赖(devDependencies)安装: ...

  8. WordPress主题开发：开启侧边栏小工具功能

    步骤一:在主题的functions.php中,添加一段代码,开启侧边栏功能,代码如下: <?php //参数 $args = array( 'name' => __( '主侧边栏'), ' ...

  9. 轻量级批量管理工具pssh

    pssh工具 pssh工具是个轻量级的批量管理工具,相比同类型的开源工具 Ansible,Saltstack,他比较轻量级,需要对管理的主机做秘钥认证 Ansible是可以做秘钥认证,也可以通过配置文 ...

随机推荐

  1. JavaScript数组方法--reduce、reduceRIght、reverse

    今天写的reduce是比较复杂的一个数组方法,其实在这之前我也用过reduce,可是每次用起来总感觉不那么顺手,主要还是因为不熟,对reduce本身不熟.首先reduce这个单词翻译为中文,不那么直观 ...

  2. Shiro的认证和权限控制

    权限控制的方式 从类别上分,有两大类: - 认证:你是谁?–识别用户身份. - 授权:你能做什么?–限制用户使用的功能. 权限的控制级别 从控制级别(模型)上分: - URL级别-粗粒度 - 方法级别 ...

  3. docker 搭建 web 服务环境

    docker容器虽然早就听说过,但是本人还真的没去用过,刚好看到相关的文章,就分享了下,有机会可以实践下...... 做过开发的人对开发环境的安装.配置应该都不会太陌生,不管你做什么开发,对开发环境都 ...

  4. Linux java进程无故被kill

    这两天,演示环境的java应用无端端就被停止了.在这里记录一下原因和排查过程: 发现应用挂掉以后,第一时间登陆centos,发现进程没有了.于是重新启动应用. 但是启动不起来,去看业务日志,没有找到任 ...

  5. leetcode每日刷题计划-简单篇day9

    Num 38 报数 Count and Say 题意读起来比较费劲..看懂了题还是不难的 注意最后的长度是sz的长度,开始写错写的len 在下次计算的时候len要更新下 说明 直接让char和int进 ...

  6. 【学习】数据规整化：清理、转换、合并、重塑（续）【pandas】

    @合并重叠数据 还有一种数据组合问题不能用简单的合并或连接运算来处理.比如说,你可能有索引全部或部分重叠的两个数据集 使用numpy的where函数,它用于表达一种矢量化的if - else a = ...

  7. 【C语言基础】变量

    1.什么是变量? 变量的本质就是内存中一段储存空间 2.变量为什么必须初始化? 所谓初始化就是赋值的意思 3.如何定义变量 数据类型 变量名 = 要赋的值 举例子: int i = 3:等价于 int ...

  8. bootstrap-datetimepicker 时间配置，包含颜色

    if ($('.isdatetimepicker')!=undefined&&$('.isdatetimepicker').datetimepicker!=undefined) { / ...

  9. Rsync备份功能总结

    备份服务笔记====================================================================== Rsync是一款开源的.快速的.多功能的.可实 ...

  10. 《深入理解java虚拟机》读书笔记——垃圾收集与内存分配策略

    可回收判定两种算法 引用计数法(Reference Counting):引用为0时可回收. 可达性分析法(Reachability Analysis): 从GCRoots对象到这个对象不可达. GCR ...