一.Sqoop 简介 Sqoop 是一个常用的数据迁移工具,主要用于在不同存储系统之间实现数据的导入与导出: 导入数据:从 MySQL,Oracle 等关系型数据库中导入数据到 HDFS.Hive.HBase 等分布式文件存储系统中: 导出数据:从 分布式文件系统中导出数据到关系数据库中. 其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移,如下图: 二.安装 版本选择:目前 Sqoop 有 Sqoop 1 和 Sqoop 2 两个版本,但是截至到目前,官方并不推荐使用 Sqoo

参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群  Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm方式和yum方式) ClouderManager官网的安装历史稳定版 https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/cm5ig_install_older_cm5.ht

前期博客 Cloudera Manager安装之Cloudera Manager 5.6.X安装(tar方式.rpm方式和yum方式) (Ubuntu14.04) (三) 如果大家,在启动的时候,比如遇到如下问题,则 明明已经授权了啊,怎么被拒绝,纳尼??? 解决办法 然后,再来这样,就可以了. 注意,在此之前. ubuntucmbigdata1机器上,则需要执行 bigdata@ubuntucmbigdata1:~$ sudo /usr/share/cmf/schema/scm_prepare

2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent 10G 6G 5G CDH2_node10 Agent 2G 1-1.5G 1G CDH3_node11 Agent 2G 1-1.5G 1G 1. • 系统环境准备 1.网络配置  vi /etc/sysconfig/network vi /etc/hosts 2.SSH免密钥登录 虚拟机的环境

不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑         Java全栈大联盟        每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力.        百家号 :九月哥快讯               快手号:  jiuyuege         前期博客 Cloudera Manager安装之Cloudera Manager 5.3

不多说,直接上干货! 福利每天都有  =>  =>=>=>=> 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑         Java全栈大联盟        每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力.        百家号 :九月哥快讯               快手号:  jiuyuege              前期博客  Cloudera Manag

Cloudera Manager安装前准备 (一)机器准备 192.168.80.148   clouderamanager01 (部署ClouderaManager-server和Mirror server)  (部署Agent) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.149   clouderamanager02    (部署Agent) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.150   cloudera

Cloudera Manager 安装集群遇到的坑 多次安装集群,但每次都不能顺利,都会遇到很多很多的坑,今天就过去踩过的坑简单的总结一下,希望已经踩了的和正在踩的童鞋能够借鉴一下,希望对你们能有所帮助. 一.Mysql的配置 1.卸载原有的mysql 查看目前安装的mysql rpm -qa |grep mysql 卸载自带的mysql yum -y remove mysql-libs-5.1.73-7.el6.x86_64 2.安装mysql mysql的安装有三种方式: rpm包安装(本次

福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑         Java全栈大联盟        每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力.        百家号 :九月哥快讯               快手号:  jiuyuege           前期博客 Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6

其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera Manager 5和CDH5离线安装 Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0 https://www.zybuluo.com/ncepuwanghui/note/474966  ClouderManager官网 https://www.cl

第二步: Cloudera Manager安装之时间服务器和时间客户端(二) 找一台机器作为时间服务器 我这里,放到ubuntucmbigdata1这台机器! 注意,之前是已经做了集群时间同步了. 在ubuntu系统里,跟centos系统有点出入. 需要安装 root@ubuntucmbigdata1:~# sudo apt-get install ntp 然后,再来配置,就不为空了. root@ubuntucmbigdata1:~# sudo vim /etc/ntp.conf 默认是如下 #

1.准备三台虚拟机,系统是centos 7,IP分别是: 192.168.254.110 master 192.168.254.111 slave1 192.168.254.112 slave2 2.如果没有httpd服务的话 需要在master上安装一个httpd: 1) yum install httpd #(安装) 2) systemctl start httpd.service #(启动) 3.配置ssh免密码登录: 具体操作请见我的另一篇文章<Hadoop2.6.0在CentOS 7中

前面cloudera manager 环境准备和安装我参考的是: https://blog.csdn.net/m0_38017084/article/details/82218559 这篇博客,写的非常的详细. 我这主要写几个我安装完毕之后遇到的几个问题. 1.在进行mysql设置的时候报错 就是这个命令,报错然后我发现我 root 用户的grant这个操作权限是 N .改为 Y 就行了. grant all on *.* to root@"%" identified by "

hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍 简介 我们在上篇文章中已经了解了CDH,为了后续的学习,我们本章就来安装CDH5.8.CDH5.8是目前比较新的版本,自带hadoop2.0以上的hadoop,而且已经包含了很多组件,也是我们接下来需要学习的hadoop生态圈中的组件. 环境 Cloudera Manager是为了简化hadoop及其组件的部署,但是由于包含的组件较多,对内存要求也比较大.所以我们尽

文档说明 本文是针对Linux CentOS6服务器与CDH5.15的安装手册. 关于CDH和ClouderaManager CDH(Cloudera's Distribution, includingApache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. ClouderaManager(本文以下简称为CM)则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的

CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apache原生的Hadoop组件基础上进行了封装和加强. CDH里面有些什么东西呢?例如以下图: 那么这个CDH软件怎样安装呢?Cloudera公司提供了一套安装CDH,管理.维护CDH各组件的一个软件,叫做Cloudera Manager(下面简称为CM).CM本身是一种主从结构.由CM Server和

安装环境采用2台虚拟机进行,一台master, 一台slave1 先安装好centos 6.5 两台,并设置静态ip 怎么安装可以参考地址:https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html 关闭防火墙 设置成disabled service iptables stop 手工停止防火墙 chkconfig iptables off 设置开机不启动防火墙 chkconfig iptables --list 查看防火墙服务

1.连接阿里云服务器 打开远程连接工具进行配置,这里以CRT为例. 1)新建一个session 2)填写hostname(填写公网ip) 2.修改hosts [root@hadoop001 ~]# vim /etc/hosts 127.0.0.1 localhost localhost ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 172.17.138.24 hadoop102 hadoop102 1

1.提示连不上数据库,password:null 解决方法:拷贝数据库驱动到hive的lib目录,数据库要使用安装hive机器的本地数据库,远程的可能连不上 2.没有/user目录权限 解决方法:因为yarn也使用了/user目录,所有其他程序没有该目录权限   在安装hive的机器上执行 su mapred //切换到mapred用户  hadoop fs -chmod 777 /user    //给user目录赋予最大权限 hadoop fs -ls / //查看目录权限

见 Ubuntu14.04下完美安装cloudermanage多种方式(图文详解)(博主推荐) 欢迎大家,加入我的微信公众号:大数据躺过的坑     免费给分享       同时,大家可以关注我的个人博客:  http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/  人生苦短,我愿分享.本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网. 目前

val file = sc.textFile("hdfs://zhcloudil-lcnode04:8020/user/cloudil/wc_spark.txt") val counts = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) counts.saveAsTextFile("hdfs://zhcloudil-lcnode04