目录 [TOC] 1.CDH介绍 1.1.什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装. Cloudera-Managerceql(本文中简称CM)是一个工具,CM能够管理一个大的Hadoop cluster并不是一只要下载tar files什么压缩并启动services这么简单.后续有非常多设定.监控等麻烦的事要处理,CM都能够做到,有些类似Casti.Cloudera Manager整合了一列的功能让系统…

用markdown重写,请稳步这里http://www.cnblogs.com/lion.net/p/5477899.html…

不多说,直接上干货! 说在前面的话  首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu LTS \n \l root@zhouls-virtual-machine:~# 我的是Ubuntu 14.04.4 我的环境在Ubuntu14.04下搭建,注意:不同版本之间可能存在兼容性(其他的如16.04,我也暂时测试过) Ubuntu16.04下Mongodb安装部署步骤(图文详解) root@zhouls-vi…

不多说,直接上干货! 在这篇博客里,我采用了非官网的安装步骤,来进行安装.走了弯路,同时,也是不建议.因为在大数据领域和实际生产里,还是要走正规的为好. Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐) 官方文档 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 这里是一个总述,不多说. 这里是Overview,不多说. 第一步:为软件包管理系统导入公…

Docker在Centos7在线/离线安装 一.在线安装 1.检查系统是否支持,因为Docker 要求 CentOS 系统的内核版本高于 3.10 uname -r 2.确保 yum 包更新到最新 yum update 3.卸载旧版本 yum remove docker docker-common docker-selinux docker-engine 4.安装docker-ce所需依赖 yum install yum-utils device-mapper-persistent-data l…

ubuntu14.04  python + opencv 傻瓜式安装解决方案 ubuntu下使python和opencv来做开发的话,总要花那么点时间来配置环境.我偶然间发现了一种傻瓜式安装办法希望快速上手的同学不妨试一试 首先有个python的各种包集成安装环境 Anaconda https://www.continuum.io/downloads/ 按照这个下载链接,下载然后傻瓜式安装就行了- 一路选next 然后配置一下环境变量,具体可以自行百度,或者看我的caffe安装博文 安装好后,将…

说明 初步接触kubernets,记录学习过程 本教程目的利用kubeadm在ubuntu server 16.04 64位系统离线安装kubernets v1.10.0 环境信息 节点IP地址 角色 192.168.1.196 master(管理节点) 192.168.1.197 worker(计算节点) 安装软件 所需软件打包k8s_v1.10.0.zip,密码cqaa 以下操作需要在所有的master和worker节点上执行 安装以下依赖,命令:dpkg -i *.deb root@k8s…

#安装步骤将ubuntu切换到root用户权限 1 $sudo -s ##安装必要软件 1 2 3 4 5 $ apt-get install gcc $ apt-get install gfortran-4.7 $ apt-get install csh $ apt-get install tcsh $ apt-get install libx11-dev 这里需注意: gfortran应该安装4.7版本,根据MIT的教程讲4.8以及版本编号后缀为0的编译器总有bug,建议安装4.7.3.在u…

不多说,直接上干货! 说在前面的话  首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu LTS \n \l root@zhouls-virtual-machine:~# 我的是Ubuntu 16.04.4 我的环境在Ubuntu16.04下搭建,注意:不同版本之间可能存在兼容性(其他的如14.04,我也暂时测试过) Ubuntu14.04下Mongodb安装部署步骤(图文详解) root@zhouls-vi…

在ubuntu14.04系统中,默认在/usr/lib目录下安装了python2.7.6和python3.4.3,在该环境下安装spyder,然后使其链接到python3.4.3. 首先安装为python3安装模块下载工具pip3,然后安装spyder的依赖包PyQt5和sphinx.刚开始的时候直接安装了PyQt4,然后会报错,无法找到QT binding. 1,安装pip3 参考:https://ft.wupo.info/pip3-python3-install-module/ sudo a…

目录 NPM 在线 离线 GEM 在线 离线 NPM NPM,即为Node的包管理工具,官网为 https://www.npmjs.com/,我们可以在站内搜索所需要的NPM包,了解相关的使用规则 安装NPM包有两种方式:线上与线下 线上 1. 连接官方源 下载npm管理工具后,默认是连接到官方的源,命令 npm config ls -l 或 npm config get registry 可查看相关的源 使用类似 npm install request 就可以安装某个包,更多命令可使用 npm…

这些常用工具的安装步骤还是自己记录下,以后再次用到时就会方便许多. 系统:ubuntu14.04 jdk安装. 1.从官网下载好jdk安装包 jdk-8u111-linux-x64.tar.gz 2.解压 ubuntu@ubuntu:~$ tar -zxvf jdk-8u111-linux-x64.tar.gz ubuntu@ubuntu:~$ sudo mkdir /usr/lib/jvm ubuntu@ubuntu:~$ sudo mv jdk1..0_111 /usr/lib/jvm/ u…

官网安装教程链接:https://docs.openstack.org/developer/devstack/ 我在ubuntu14.04 LTS 桌面版/服务器版都安装DevStack成功后,在这里记录下安装过程. 介绍下安装环境: VMware Workstation Pro 12 ubuntu14.04 LTS 系统 安装前准备: 1.系统更换ubuntu源 http://blog.csdn.net/u010053463/article/details/49300625,从链接中选择一个数…

前期博客 基于CentOS6.5下Suricata(一款高性能的网络IDS.IPS和网络安全监控引擎)的搭建(图文详解)(博主推荐) 基于Ubuntu14.04下Suricata(一款高性能的网络IDS.IPS和网络安全监控引擎)的搭建(图文详解)(博主推荐) 参考官网 https://redmine.openinfosecfoundation.org/projects/suricata/wiki/_Logstash_Kibana_and_Suricata_JSON_output 注意,这官网,…

(一)安装前的规划 (1)操作系统版本:centos7.4(64bit) [root@hadoop22 etc]# more /etc/centos-release CentOS Linux release (Core) [root@hadoop22 installPackage]# cat /proc/version Linux version -.el7.x86_64 (builder@kbuilder.dev.centos.org) ( (Red Hat -) (GCC) ) # SMP…

服务器ubuntu 系统同时安装了 anaconda3,anaconda2 ,但服务器没有连接外网,所以 想在python3 环境下安装离线安装xgboost. 主要分2步: 0:进入py3环境  (source activate py3) (具体anaconda3,anaconda2 共存见http://www.cnblogs.com/zle1992/p/6720425.html) 1.编译xgboost 2.安装xgboost python 包 1 编译xgboost 1.1 在联网的电脑上…

最近一段时间团队接到的项目需要处理的数据量非常大,之前的处理方式难以满足现有需求.最近两周前前后后折腾了不少,在搭建了hadoop+hbase+hive+spark的一个集群后,由于感觉管理和监控太麻烦就把它给干掉了,转而折腾CDH. 安装CDH前需要安装Cloudera Manager,官方文档提供的A,B,C三种安装方式.方式A傻瓜式的安装部署,安装时最好祈祷一次成功,否则卸载时时候非常麻烦.本文主要介绍方式C的部署. 系统环境以及相关软件版本 机器数量:4台PC,名称分别为Master,…

Ubuntu18.04在今年4月底发布了,喜欢尝鲜的小伙伴肯定是第一时间就更新了系统版本,那么在Ubuntu18.04中怎么安装msyql5.7(mysql8.0因为新出,再观望一段时间)呢? * 带上mysql的卸载方式: 首先删除mysql相关的安装程序: sudo apt-get remove 'mysql-*' 可以看到输出结果: 然后清理残留的数据 dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 输出: 在这个界面要选择 <…

0x00 概述 ELK-logstash在搬运日志的时候会出现多行日志,普通的搬运会造成保存到ES中单条单条,很丑,而且不方便读取,logstash-filter-multiline可以解决该问题 github地址:https://github.com/logstash-plugins/logstash-filter-multiline 其他插件的地址:https://github.com/logstash-plugins 官网地址:https://www.elastic.co/cn/produ…

因为在win10 系统上手贱的将mysql卸载掉了之后有个插件一直无法正常删除导致只能将mysql装到ubuntu虚拟机上, 宝宝心里都是累啊,所以记录下来自己的安装过程2333 命令行操作: "sudo apt-get update"-->回车-->"输入root用户的密码"-->回车 输入"sudo apt-get install mysql-server mysql-client"-->回车-->输入"…

ubuntu 64位 1.下载chrome安装包: sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 2.安装: sudo dpkg -i google-chrome-stable_current_amd64.deb 安装过程可能会出现错误: Errors were encountered while processing: google-chrome-stable 解决办法:执…

今天打算换个工作环境,在ubuntu下装交叉编译器,可谓一波三折.最后总算是装好了. 首先参照一下这位仁兄的博客http://blog.csdn.net/silleyj/article/details/28931469 文中他的已经可以使用了,而我的还是不行,又百度了一下,发现还是少装了一个东西. 在ubuntu下执行这个命令sudo apt-get install lsb-core      这样就可以使用了. arm-linux-gcc  -v  查看当前交叉编译器版本 OK !…

ubuntu中VNCX11開機啟動保持靜默狀態方法: 1首先安裝vncx11. 2.設置vnc密碼,會自動保存在/home/test/.vnc/passwd中 3.將密碼複製到/etc中 4.在/etc/init中新建x11vnc.conf輸入腳本, start on login-session-start script x11vnc -display : -auth / -forever -bg -o / end script 5.保存,重启,就可以用windows直接控制ubuntu界面了…

前期博客 Cloudera Manager安装之Cloudera Manager 5.6.X安装(tar方式.rpm方式和yum方式) (Ubuntu14.04) (三) 如果大家,在启动的时候,比如遇到如下问题,则 明明已经授权了啊,怎么被拒绝,纳尼??? 解决办法 然后,再来这样,就可以了. 注意,在此之前. ubuntucmbigdata1机器上,则需要执行 bigdata@ubuntucmbigdata1:~$ sudo /usr/share/cmf/schema/scm_prepare…

说在前面的话 我的机器是总共4台,分别为ubuntucmbigdata1.ubuntucmbigdata2.ubuntucmbigdata3和ubuntucmbigdata4. ClouderaManager官网 https://www.cloudera.com/documentation/manager/5-0-x/Cloudera-Manager-Installation-Guide/cm5ig_install_path_B.html 在ubuntucmbigdata1上执行了 sudo a…

其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera Manager 5和CDH5离线安装 Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0 https://www.zybuluo.com/ncepuwanghui/note/474966  ClouderManager官网 https://www.cl…

不多说,直接上干货! 前期博客 Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐) Ubuntu14.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) 为什么要写这篇博客? 在学习的过程中,考虑到将数据存储到数据库会更加方便查看和测试,所以使用了mongodb存储爬虫结果.在Ubuntu中,对MongoDB的操作都是在命令窗口中进行的,无法以图标的形式直接查看整个数据库的状态和其中的内容. 选择了两个可视化工具,它们分别是:M…

不多说,直接上干货! 若大家,不会安装的话,则请移步,随便挑选一种. Ubuntu14.04下Mongodb(在线安装方式|apt-get)安装部署步骤(图文详解)(博主推荐) Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐) Ubuntu14.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) 第一种方式 这里,大家可以选择在ubuntu里安装eclipse,或者,大家也可以跟我一样,在windows下的eclipse或my…

(离线安装)首先,通过winscp上传本地下载好的jdk-8u102-linux-x64.gz (离线安装)将jdk-8u102-linux-x64.gz解压到到/usr/lib/jvm下,并把文件夹名重命名为java-8-oracle: hadoop@master:/usr/lib$ mkdir jvmhadoop@master:/usr/lib$ ls ...jvm ...hadoop@master:/usr/lib$ cd /home/hadoophadoop@master:~$ sudo…

不多说,直接上干货! TeamViewr是远程支持.远程访问.在线协作和会议软件. 分为从windows7.CentOS6.5和Ubuntu14.04(64bit) 系统来详解下载.安装和初步使用! 官网上下载(各种操作系统和APP都应有尽有) 一.windows7下安装TeamViewr 然后,过段时间,会自动弹出 成功! 二.CentOS6.5下安装TeamViewer(经过测试) centos上安装TeamViewer 三.Ubuntu14.04(bit)下安装TeamViewer(经过测…