在开发阶段,可以单机搭建环境安装Flume和Solr,在两个工程的官网下载相关文件. 还有另一种更便捷的方式,就是使用Cloudera提供的镜像,包括了已经配置好的各种大数据服务环境的docker镜像和虚拟机镜像. 1.docker镜像的使用 官网教程:https://hub.docker.com/r/cloudera/quickstart/ 安装docker镜像 sudo apt-get install docker.io 从Docker Hub 导入Cloudera QuickStart镜像…

使用Cloudera Manager搭建Kudu环境 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.点击添加服务进入CM服务安装向导 2>.选择需要安装的kudu环境 3>.为Kudu分配角色 4>.为kufu分配Linux主机的本地存储目录 5>.等待kudu安装完毕即可(一定要进行集群的时间同步!) 如果遇到报错可以参考官方常见的问题解决方案,链接地址:https://kudu.apache.org/docs/troubleshooting.ht…

使用Cloudera Manager搭建Impala服务 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用CM安装Imapala 1>.进入CM的服务安装向导 2>.选择需要安装的Imapala服务 3>.为Impala指定依赖环境 因为Impala依赖Hive metastore,在安装Impala前必须安装Hive服务,并保证Hive能够正常工作. 另外,由于Impala和YARN的内存管理是分开的,所以对Impala服务的内存参数变更有兴趣的同学可以自己实…

使用Cloudera Manager搭建HBase环境 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用CM安装HBase服务 1>.进入CM服务安装向导 2>.选择需要安装的HBase服务 3>.为HBase分配角色 4>.配置HBase相关参数 5>.等待服务安装完成 6>.HBase服务安装成功 7>.查看CM界面有HBase对应的服务 二.验证HBase可用性…

安装并启动jupyter 安装 Anaconda 后, 再安装 jupyter pip install jupyter 设置环境 ipython --ipython-dir= # override the default IPYTHONDIR directory, ~/.ipython/ by default ipython profile create foo # create the profile foo ipython profile locate foo # find foo prof…

官网: http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ 一.Hue环境搭建 1. 下载 http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6.tar.gz 2. 解压 -cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 安装依赖包 sudo yum -y install ant asciidoc cyrus-sasl-devel cyr…

一.Oozie环境搭建 1. 下载oozie-4.0.0-cdh5.3.6.tar.gz 下载地址:http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压 tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 修改配置 1)cd /opt/modules/cdh/oozie-4.0.0-cdh5.3.6 mkdir libext tar -zxvf oozie-hadooplibs-4.0.…

一.搭建hadoop环境 <OD大数据实战>hadoop伪分布式环境搭建 二.Hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 -cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 修改配置 cd /opt/modules/cdh/hive--cdh5.3.6/conf mv hive-env.sh.template h…

一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools /opt/* chown beifeng:beifeng /opt/* 最终效果如下: [beifeng@beifeng-hadoop- opt]$ pwd /opt [beifeng@beif…

想要搭建自己的Hadoop和spark集群,尤其是在生产环境中,下载官网提供的安装包远远不够的,必须要自己源码编译spark才行. 环境准备: 1,Maven环境搭建,版本Apache Maven 3.3.9,jar包管理工具: 2,JDK环境搭建,版本1.7.0_51,hadoop由Java编写: 3 ,Scala 环境搭建,版本 2.11.8,spark是scala编写的: 4 ,spark 源码包,从官网选择 编译前准备: 0,Maven ,JDK,Scala解压安装,并加入到环境变量中…