本次配置主要使用的教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 以下是自己在配置中的遇到的一些问题和解决方法,或者提示 一.使用虚拟机安装centos7并设置图形界面 在安装的过程中,由于自己还是熟悉图形界面,所以还是在安装之后又继续安装了图形界面 yum groupinstall "GNOME Desktop" "Graphical Administration Tools" 这行代码是安装图形…
一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立HDFS和JAVA交互的过程中,需要添加大量的jar包,需要注意! 同时需要注意我们需要把Hadoop打开, cd /usr/local/hadoop ./sbin/start-dfs.sh 三.简单学习HBASE并进行简单的操作 简单操作教程:http://dblab.xmu.edu.cn/blog…
2019-2020-2 20175121杨波<网络对抗技术>第一周kali的安装 标签 : Linux 一.下载安装kali 1.下载kali 下载链接 打开链接进入官网后,点击Torrent按钮下载Torrent文件,之后在迅雷中打开此文件进行下载,下载完成后解压 2.安装kali 打开VMware Workstation,点击打开虚拟机 进入登录界面,默认的用户名和密码都是kali(小写字母),输入即可进入系统界面. 二.kali的汉化 打开终端,输入命令行sudo -s并输入密码kali…
从零开始使用git 第一篇:下载安装配置 第一篇:从零开始使用git第一篇:下载安装配置 第二篇:从零开始使用git第二篇:git实践操作 第三篇:从零开始使用git第三篇:git撤销操作.分支操作和常见冲突 什么是git,什么是github,这些文字概念我就不提了,也不建议新手过多纠结于此.搜搜看看就行,看不懂也没关系,很正常,最重要的是开始动手操作. 1.下载 git官网下载:https://git-scm.com/downloads 客户端tortoisegit和语言中文包 官网下载:ht…
大数据应用日志采集之Scribe 安装配置指南 大数据应用日志采集之Scribe 安装配置指南 1.概述 Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用.它能从各种日志源收集日志,存储到一个中央存储系统上,便于进行集中统计分析处理.它为日志的”分布式收集,统一处理”提供了一个可扩展的,高容错的方案.scribe代码很简单,但是安装配置却很复杂,本文记录了作者实际的一次安装的过程,感觉真是不一般的琐碎,另外Scribe开源社区的版本已经是几年前的版本了,…
集群安装配置Hadoop 集群节点:node4.node5.node6.node7.node8. 详细架构: node4 Namenode,secondnamenode,jobtracker node5 Datanode,tasktracker node6 Datanode,tasktracker node7 Datanode,tasktracker node8 Datanode,tasktracker 操作系统为:CentOS release 5.5 (Final) 安装步骤 一.创建Hado…
[本文结构] [1]安装Hadoop前的准备工作 [1.1] 创建新用户 [1.2] 更新APT [1.3] 安装SSH [1.4] 安装Java环境 [2]安装和配置hadoop [2.1] Hadoop下载 [2.2] Hadoop伪分布式配置 [踩过的坑] [1] 需要在Java8上安装Hadoop,开始用Java11一直失败: [2] 一定要再熟悉大致流程后再安装,专注于一篇笔记的同时参考其他笔记. [3] 本文参考笔记 [1.1] Ubuntu16.04 下 Hadoop的安装与配置(…
一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本.(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明) 二. 准备工作 2.1 创建用户 创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好. sudo adduser hadoop sudo vim /etc/sudoers…
在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录可以先自行创建之) tar -zxvf hadoop-2.6.4.tar.gz -C /itcast 2 配置HDFS(hadoop2所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下) 2.1将hadoop添加到环境变量中,可以在一台机器上添加,然后发送给其他节点 vim /e…
前言 由于以前已经写过一篇Centos 7环境下安装配置2.8的随笔,因此这篇写得精简些,只挑选一些重要环节记录一下. 安装环境为:两台主机均为Centos 7.*操作系统,两台机器配置分别为: 主机centos-hadBeta1:IP为:10.10.11.225 从机hadoopnode1:IP为:10.10.11.254 1.配置etc/hadoop文件夹中的文件: 配置Hadoop-env.sh文件中的Java_Home变量(/etc/profile文件配置与此相同). export JA…