官方参考文档: https://www.cloudera.com/documentation/enterprise/5-15-x/topics/configure_cm_repo.html 安装cdh前如果安装过其他版本的,记得删除各种目录残留文件,比如/run下面的 如果误删了log4j/properties文件,文件内容在这 cmf.root.logger=INFO,CONSOLE cmf.log.dir=. cmf.log.file=cmf-server.log # Define the

一. 概述 该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考. 1.1 主流大数据部署方法 目前主流的hadoop平台部署方法主要有以下三种: Apache hadoop CDH (Cloudera’s Distribution Including Apache Hadoop) HDP (Hortonworks Data Platform) 1.2 部署方法的比较 手工部署: 需要配置太多参数,配置繁琐,建议初学者部署方式 工具部署:比如Ambari和clouder

目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要注册一个账号,下面的链接进入后需要登录,也可以自行在上面的下载页面找. CDH 6.2.0,下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/ CM 6.2.0,下载地址:https://archive.cloudera.com/cm6/6.2

Ubuntu安装OpenCV3.0.0 为了看看opencv3.0的HDR效果,尝试安装opencv3.0到ubuntu12.04上面,安装了好几次终于成功了. 参考博客: http://www.samontab.com/web/2014/06/installing-opencv-2-4-9-in-ubuntu-14-04-lts/ http://blog.163.com/huai_jing@126/blog/static/171861983201311103411229 http://www.

在Ubuntu安装Tomcat7.0及开机自动运行 1.安装装Tomcat7.0 一般都是绿色版的,下载一个tomcat7.0解开到指定的目录上即可 然后进入tomcat目录的bin文件夹,执行 sudo ./startup.sh即可完成启动 2.开机自动运行tomcat7.0 用Root权限进入,进入并修改/etc/rc.local 如下: #!/bin/sh -e # # rc.local # # This script is executed at the end of each mult

CM+CDH6.2.0环境准备 一 虚拟机及CentOs7配置 CentOS下载地址 master(16g+80g+2cpu+2核)+2台slave(8g+60g+2cpu+2核) 1.1 打开"VMware Workstation",选择"创建新的虚拟机" 1.2 选择"典型"选项,点击"下一步 " 1.3 选择"稍后安装操作系统",点击"下一步 " 1.4选择"Linux

WSL Ubuntu 安装MongoDb 4.0导入公钥时遇到一个坑 一路坑啊~~~网上的密钥都不对????  不应该啊 源中默认是MongoDb 3.x 但是我想用4.0,然后按照mongodb官方的docs进行第一步操作导入公钥 1 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 9DA31620334BD75D9DCB49F368818C72E52529D4 结果出现下面错误 1 2 gpg: connec

CDH6.3.0下Apache Atlas2.1.0安装与配置 0. 说明 文中的${ATLAS_HOME}, ${HIVE_HOME} 环境变更需要根据实际环境进行替换. 1. 依赖 A. 软件依赖 CDH6.3.0 环境已安装: Apache Hadoop Apache Zookeeper Apache Kafka Apache HBase Apache Solr Apache Hive 2. Apache Atlas包编译 下载源文件包:https://atlas.apache.org/#

原文:https://www.cnblogs.com/ningvsban/p/4384995.html 1. 安装pyenv git clone git://github.com/yyuu/pyenv.git ~/.pyenv echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc

Ubuntu 安装Spark出现的问题及解决 最近在搭建Hadoop集群环境和Spark集群环境,出现的问题可能不太复杂,纯粹记录安装步骤和问题解决办法.集群环境使用的是(2台)阿里云主机,操作系统是Ubuntu 16.04.9版本 运行环境 Linux 操作系统:Ubuntu 16.04.9Spark 安装版本(红色箭头的是下图安装报错的版本) 报错信息: 原因:没有用对Spark安装包,应该选择Hadoop编译后的安装包.在http://spark.apache.org/官网选择Pre-bu

环境篇:Kylin3.0.1集成CDH6.2.0 Kylin是什么? Apache Kylin™是一个开源的.分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区.它能在亚秒内查询巨大的表. Apache Kylin™ 令使用者仅需三步,即可实现超大数据集上的亚秒级查询. 定义数据集上的一个星形或雪花形模型 在定义的数据表上构建cube 使用标准 SQL 通过 ODBC.JDBC 或 R

Consul 概念(摘录): Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置.与其他分布式服务注册与发现的方案,比如 Airbnb 的 SmartStack 等相比,Consul 的方案更"一站式",内置了服务注册与发现框 架.分布一致性协议实现.健康检查.Key/Value 存储.多数据中心方案,不再需要依赖其他工具(比如 ZooKeeper 等).使用起来也较 为简单.Consul 用 Golang 实现,因此具有天然可移植性(支持 L

好记性不如烂笔头,记录一下,ubuntu安装mysql的指令. 安装MySQL: sudo apt-get install mysql-server sudo apt-get install mysql-client 卸载MySQL: sudo apt-get autoremove --purge mysql-server-5.0 sudo apt-get remove mysql-server sudo apt-get autoremove mysql-server sudo apt-get

1.源下载地址:http://mirrors.aliyun.com/ubuntu-releases/ ubuntu-16.04-server-amd64.iso 2.在虚拟机上安装完后 (1)查看IP地址:ifconfig (2)SercureCRT上连接,提示“The remote system refused the connection.” 没安装ssh,安装ssh:apt-get install ssh 查看ssh进程是否存在:ps -e |grep ssh 安装完后,SercureCR

下载文件 http://nginx.org/en/download.html 下载 nginx-1.9.3.tar.gz 安装Nginx 安装 一.安装nginx时必须先安装相应的编译工具 yum -y install gcc gcc-c++yum -y install zlib zlib-devel openssl openssl-devel pcre-devel 建立nginx 组 groupadd -r nginx# -r 表示创建的是系统组 useradd -s /sbin/nologi

当初入门Linux 使用的是centos,那个时候是6.0版本,当然现在主流在使用的也是6.0系列的,现在都到6.7了,那个时候centos还是独立的,现在被redhat收购,本来一个红蓝就差不多,个人感觉除了yum源不一样,其他没有区别,更搞笑的是,redhat用了centos 的开放yum 源,升级后居然变成centos 了.因为yum用的太顺手了,所以开始挺排斥ubuntu的,觉得apt-get很不爽,不过最近学python,感觉用centos各种不爽,怪不得都说开发最好用ubuntu.所

sudo add-apt-repository ppa:hzwhuang/ss-qt5 sudo apt-get update sudo apt-get install shadowsocks-qt5 linux-ubuntu使用shadowsocks客户端配置 A-A+ 北国之神2015-03-18 06:48:1255条评论68,625次浏览linuxshadowsocksubuntuvpn搬瓦工 文章目录 第一种 ubuntu安装shadowsocks 启动shadowsocks 第二种

android版本遇到.so文件crash,需要使用ndk来定位报错代码. 从这里下载ndk安装文件: http://www.androiddevtools.cn/ 运行 ./android-ndk-r10d-linux-x86_64.bin     提示 libc.so.6: version `GLIBC_2.14' not found, 然后退出安装. 只好先安装glibc2.14          参考:http://blog.csdn.net/cpplang/article/detail

ubuntu安装ftp服务器 1: 安装vsftpd ~$ sudo apt-get install vsftpd ubuntu10.10自己装了,这步省略. 2: 配置vsftpd 2.1 修改vsftpd的配置文件.此类配置文件通常位于 /etc 目录下. ~$ sudo gedit /etc/vsftpd.conf 原文件中不少指令被注释,只要启用部分即可,一下是启用的命令(配置文件中对每一条都有具体说明) listen=YES # 服务器监听#anonymous_enable=YES #

1.ubuntu chmod 无法更改 文件夹权限 系统提示“不允许的操作 答案:需要超级用户权限 sudo 2.linux 如何修改只读文件 答案:可以使用chmod命令,为改文件提供其他的权限.u表示用户.a表示全部.g表示组,r表示可读.w表示可写.x表示可执行,你可以使用“chmod a+w test.c”来添加权限,这是比较方便的直观的方法 3.ubuntu安装samba实现与windows文件共享   为了实现Windows主机与Linux服务器之间的资源共享,Linux操作系统提供

Ubuntu 安装 Brother MFC7470D 驱动 办公室的打印机是 Brother MFC7470D ,在 Ubuntu 中安装打印机驱动时,发现没有这个型号的驱动.只有 MFC7450 的驱动,于是安装了这个驱动,尝试打印,也可以打印,但是无法进行双面的打印. 在官网上找了一下,发现有 MFC7470D 的 linux 驱动, 地址为 http://support.brother.com/g/b/downloadtop.aspx?c=as_ot&lang=en&prod=mfc