hadoop2.8.5:

https://hadoop.apache.org/docs/r2.8.5/

阿里文档:

EMR里可以通过 Ranger组件来实现
https://help.aliyun.com/document_detail/66410.html?spm=a2c4g.11186623.3.4.1a685b78iZGjgK

4.AWS S3迁移到阿里OSS
https://help.aliyun.com/document_detail/95130.html?spm=a2c4g.11186623.2.8.73cf48fayabm5m#concept-igj-s12-qfb

5.UFile迁移到阿里OSS
在线迁移服务目前暂时未包括UFile,可以通过UFile提供的工具将文件下到NAS或本地
https://docs.ucloud.cn/storage_cdn/ufile/tools/tools/tools_file
再通过在线迁移服务从本地NAS弄到OSS
https://help.aliyun.com/document_detail/98476.html?spm=a2c4g.11174283.6.617.480251ccL3tHG2
目前UFile应该也是兼容了S3 API的,所以可以尝试用迁移S3的方式先试试看能否迁UFile的数据

1. binlog 写到 HDFS
https://help.aliyun.com/document_detail/71539.html?spm=5176.11065259.1996646101.searchclickresult.701e754d68cQgN&aly_as=So7-sfoz

2. EMR Kafka 到 OSS
https://yq.aliyun.com/articles/65307

3. Kafka集群之间的数据迁移
https://help.aliyun.com/document_detail/127685.html?spm=5176.11065259.1996646101.searchclickresult.701e754d68cQgN&aly_as=-artxIw9

EMR架构:

EMR目录:

ln -s /opt/apps/hive-current /usr/lib/hive-current

/usr/lib/hadoop-current/share/hadoop/common/hadoop-common-2.8.5.jar
/usr/lib/hadoop-current//share/hadoop/common/lib/hadoop-auth-2.8.5.jar

系统已经设置好的环境:
echo $JAVA_HOME /usr/lib/jvm/java-1.8.0
echo $HADOOP_HOME /usr/lib/hadoop-current
echo $HADOOP_CONF_DIR /etc/ecm/hadoop-conf
echo $HADOOP_OG_DIR
echo $YARN_LOG_DIR /var/log/hadoop-yarn
echo $HIVE_HOME /usr/lib/hive-current
echo $HIVE_CONF_DIR /etc/ecm/hive-conf
echo $PIG_HOME /usr/lib/pig-current
echo $PIG_CONF_DIR /etc/ecm/pig-conf

#做的软链

配置文件目录在/etc/ecm

例如 :core-site.xml在$HADOOP_CONF_DIR

/etc/ecm/hadoop-conf/core-site.xml

而是实际地址是: /etc/ecm/hadoop-conf-2.8.5-1.4.0/core-site.xml

又如:

vi /etc/ecm/hadoop-conf/fair-scheduler.xml

#这里面的配置文件记录集群的一些配置,调用jar等信息;

/usr/local/emr/emr-bin/conf

阿里EMR原理的更多相关文章

  1. 阿里EMR部署

    选自定义购买: 选择master配置: 选择core配置: 下一步,选高级里在jdbc后填RDS的url, 用户名,密码: jdbc:mysql://rm-d7o7x76l11u0434zn.mysq ...

  2. Android热修复技术原理详解(最新最全版本)

    本文框架 什么是热修复? 热修复框架分类 技术原理及特点 Tinker框架解析 各框架对比图 总结   通过阅读本文,你会对热修复技术有更深的认知,本文会列出各类框架的优缺点以及技术原理,文章末尾简单 ...

  3. Android热修复原理

    参考:https://www.cnblogs.com/popfisher/p/8543973.html 一. AndFix AndFix的原理就是方法的替换,把有bug的方法替换成补丁文件中的方法.  ...

  4. Android热修复技术原理详解

    阿里Dexposed -- native解决方案 原理: 直接在native层进行方法的结构体信息对换,从而实现完美的方法新旧替换,从而实现热修复功能   他的思想完全来源于Xposed框架,完美诠释 ...

  5. Nginx 获取真实 IP 方案

    问题根源: 基于七层的负载均衡系统,获取IP的原理都是通过XRI和XFF进行处理,从中选出“正常情况下”的源头IP,然而这两个Header都是普通的HTTP头,任何代理程序都可以轻易修改伪造它们,使得 ...

  6. 阿里资深工程师分享支付宝热补丁技术—— AndFix原理

    本文由嵌入式企鹅圈原创团队成员.阿里资深工程师Hao分享. 上次我们介绍了用dexposed方案实施热补丁的原理,它本质上就是hook要修改的函数,这样一来在正式版本发布时就不能直接拿热补丁的代码集成 ...

  7. 阿里云EMR集群初始化后的开发准备工作

              前言:EMR的集群使用越来越普遍,但是每一次的集群释放到集群的重新创建,期间总有一些反复的工作需要查询与配置.为方便后续工作查阅,现在对集群初始化后的工作进行大概的梳理如下.   ...

  8. 阿里dubbo服务注册原理解析

           阿里分布式服务框架 dubbo现在已成为了外面很多中小型甚至一些大型互联网公司作为服务治理的一个首选或者考虑方案,相信大家在日常工作中或多或少都已经用过或者接触过dubbo了.但是我搜了 ...

  9. zookeeper 负载均衡 核心机制-实现原理 包含ZAB协议(滴滴,阿里面试)

    面试也经常问kafka的原理,以及zookeeper与kafka原理的区别:kafka 数据一致性-leader,follower机制与zookeeper的区别: zookeeper是如何实现负载均衡 ...

随机推荐

  1. FZU - 2103 Bin & Jing in wonderland

    FZU - 2103 Bin & Jing in wonderland 题目大意:有n个礼物,每次得到第i个礼物的概率是p[i],一个人一共得到了k个礼物,然后按编号排序后挑选出r个编号最大的 ...

  2. 【CUDA 基础】4.1 内存模型概述

    title: [CUDA 基础]4.1 内存模型概述 categories: - CUDA - Freshman tags: - CUDA内存模型 - CUDA内存层次结构 - 寄存器 - 共享内存 ...

  3. vue中改变数组或对象,页面没做出对应的渲染

    原文链接 数组更新检测 变异方法 Vue 包含一组观察数组的变异方法,所以它们也将会触发视图更新.这些方法如下: push() pop() shift() unshift() splice() sor ...

  4. Centos安装JIRA 7.13版本(自己在官方下载最新版)以及破解

    后半部分流程来自:https://www.cnblogs.com/kaola8023/p/6950481.html 安装准备(切记将许可证号备份) 1.准备mysql需要5.6以及以上的版本(注意:建 ...

  5. 08.青蛙跳台阶 Java

    题目描述 一只青蛙一次可以跳上1级台阶,也可以跳上2级.求该青蛙跳上一个n级的台阶总共有多少种跳法(先后次序不同算不同的结果). 思路 暴力枚举(自顶向下递归): 若台阶数小于等于0,返回0: 若台阶 ...

  6. kafka 性能测试脚本

    [参考文章]:Kafka自带的性能测试脚本 1. 生产消息压测脚本 1.1 脚本及参数 bin/kafka-producer-perf-test.sh  --topic kafka-test-0 -- ...

  7. 20191114-4 Beta发布用户使用报告

    20191114-4 Beta发布用户使用报告 此作业要求参见:https://edu.cnblogs.com/campus/nenu/2019fall/homework/10007 组名:胜利点 组 ...

  8. Windows下Git的下载与安装

    1).打开百度,输入Git进行搜索,如下图所示: 2).进入Git官网,由于电脑是Windows系统,选择Downloads for Windows,如下图所示: 3).电脑是64位操作系统,选择下载 ...

  9. JDBC——数据库连接池以及JDBC代码模版模版

    该代码模版由三部分组成,一个是数据库连接池,一个是数据库常用操作的模版抽象,还有一个是重写的连接对象,主要重写关闭连接的方法,将其改为释放到连接池. OolongConnectionPool.java ...

  10. 解决Git 报错:warning: LF will be replaced by CRLF

    Ruby命令 $ git init $ git add . 系统出现如下错误:warning: LF will be replaced by CRLF 原因分析:CRLF -- Carriage-Re ...