hadoop学习之Linux使用
Hadoop学习前准备工作
1、安装虚拟机(常用虚拟机:VirtualBox、VMWare)
2、安装Linux操作系统(可以直接将打包好的Linux操作系统的镜像文件拿来用,鼠标右键打开,打开方式选择一个虚拟机即可。)
常见Linux操作系统:Redhat、centos、ubuntu
3、打开虚拟机后,要进行虚拟机的设置:
内存设置:512M
网络设置:这里选用仅主机模式。(仅主机模式:虚拟机和Windows在一个单独的网段中。桥接模式:虚拟机和Windows在同一个网段中)
打开网络中心,找到设配器设置,会看到两个虚拟网卡,VMnet1和VMnet8,VMnet1是仅主机模式要用到的虚拟网卡,所以要启用这个网卡。右键打开网卡属性,
可以对其中的IPv4进行设置:例如:192.168.80.1 255.255.255.0 192.168.80.1 设置好后,可以在cmd中输入ipconfig进行查看。
注:有时打开镜像文件时,老是加载到最后就是进入不到界面,可以在虚拟机设置-->网络设配器-->高级-->在这里将MAC地址重新生成一下。
4、开启虚拟机
要在Linux里面,将其网络也要设置成仅主机模式。
点击网络图标-->edit connections-->勾选上available to all user,点击IPv4 Settings-->将Method设置成手动(Manual),Add 192.168.80.100 255.255.255.0
192.168.80.1(这个ip是外面windows上虚拟网卡设置的那个)。
检查是否设置成功:
在Linux桌面右键打开命令行,输入ifconfig(跟Windows下不同),可以查看刚刚的相关设置。
注:有时候设置没有立即生效,可以重启网卡,在命令行中输入service network restart。都显示ok后,再次查看即可。
usename:hadoop password:hadoop (root hadoop)
检查Windows和Linux之间能不能相互访问:
在Windows下, cmd->ping 192.168.80.100
在Linux下,Terminal-->ping 192.168.80.1
出现的问题:Windows下能ping通Linux,但是Linux不能ping同Windows?
解决办法:到Windows下,将Windows里面的网络防火墙关闭即可。
*************************************************************************
1.通过远程工具(PieTTY:在这个工具中输入远程Linux的ip地址就能登录到Linux的命令行中)登陆到linux后,所在的位置是当前登录用户的家目录(或主目录)(home directory)。
2.家目录的符号用~表示。家目录不是根目录。
3.linux的文件系统是一个树结构。
linux文件系统的树根成为根目录,使用符号"/"表示。
linux文件系统中使用符号".."表示上级目录。
linux文件系统中使用符号"."表示当前目录。
linux文件系统中,如果文件使用“.”开头,就表示隐藏文件
linux的路径表示方式有两种,一种是绝对路径(以”/“开头的路径),一种是相对路径(从当前位置)
4.命令cd(change directory):跳转到其他目录 cd / cd ~
5.命令ls:查看目录下包含什么东西
ls -l:显示详细信息
ls -a:显示隐藏文件
6.命令pwd:显示当前所处位置的
7.命令clear:清屏
8.命令mkdir:创建文件夹 mkdir d1
mkdir -p :递归创建上级文件夹 mkdir -p p1/p2/p3
9.命令touch:创建空白文件 touch f1
10.命令more:查看文件内容 more f1
11.命令rm:删除文件
命令rmdir:删除文件夹
命令rm -rf:删除文件(夹),不论层级多深,一概删除,并且不给出提示
12.命令cp(copy):复制文件,还有一个功能是创建新文件 cp install.log d1 cp f1 install.log.syslog 在f1同级目录下新建了一个install.log.syslog文件
13.命令mv(move): 移动文件,还有个功能是重命名 mv install.log d1
*********************************
VI操作:
(1)当使用命令vi f1回车时,进入了vi编辑器内,处于只读状态(只能看不能写);
(2)按字母”i“(insert)或者”a“(append)就可以进入编辑状态;
(3)按键盘上的”Esc“键,再按Shift+:(shift键+冒号),进入命令状态
如果输入命令wq,意味着保存退出;
如果输入命令q!,意味着不保存退出;
*********************************
linux的权限使用9位字符表示,rwx rwx rwx
这里面r表示读权限,w表示写权限,x表示执行权限,-表示没有权限
这9位字符,每3位一组,分为3组。
第一组表示创建者的权限;
第二组表示创建者所在组的权限;
第三组表示其他人的权限;
权限还可以使用数字表示。rwx用数字表示为4+2+1=7。
新创建文件的默认权限是644;新创建文件夹的默认权限是755.
命令chmod:修改权限,三个组分别使用u、g、o表示,赋权限使用“+”,去掉权限使用“-”。
chmod u+x f1 //表示文件f1的创建者增加执行权限
chmod o-r f1 //表示文件f1的其他人去掉读权限
hadoop学习之Linux使用的更多相关文章
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习笔记—2.不怕故障的海量存储:HDFS基础入门
一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多 ...
- Hadoop学习1--解决启动过程中的问题
方法:http://www.aboutyun.com/thread-12694-1-1.html http://www.linuxidc.com/topicnews.aspx?tid=13 http: ...
- Hadoop学习笔记(2)
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(5) ——编写HelloWorld(2)
Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序,并让它跑起来了.但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce.没错,上一节我 ...
- Hadoop学习笔记(3)——分布式环境搭建
Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里, ...
- Hadoop学习笔记(2) ——解读Hello World
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序. ...
- Hadoop学习笔记(两)设置单节点集群
本文描写叙述怎样设置一个单一节点的 Hadoop 安装.以便您能够高速运行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS). 參考官方文档:Hadoo ...
随机推荐
- openwrt的sysupgrade和factory固件的区别
openwrt的固件一般分两种类型:factory原厂固件.sysupgrade固件 factory多了一些验证的东西,用于在原厂固件的基础上进行升级. 普通家用路由一般不是openwrt固件,如果要 ...
- nodejs压缩
在express中要用到压缩,把某一个文件夹压缩成zip,再返回到客户端提供下载. 用archiver库 var Archiver = require('archiver') router.get(' ...
- [整理]C结构实现位段(bit field)
#include <stdio.h> #include <string.h> typedef struct A{ int a:5; int b:3; unsigned c:8; ...
- 使iis支持asp.net扩展
打开控制面板 - 程序和功能,点击左边 “打开或关闭 Windows 功能”. 在弹出的对话框中,展开 “Internet信息服务”,展开“万维网服务”,展开“应用程序开发功能”,勾选“ASP”和“A ...
- 20155301 2016-2017-2 《Java程序设计》第5周学习总结
20155301 2016-2017-2 <Java程序设计>第5周学习总结 教材学习内容总结 1.1try.catch关键词,在用户不小心输入错误的时候,程序会出现错误信息,将代表错误的 ...
- linux配置网路 设定主机名 ssh bash命令 通配符
临时配置网络(ip,网关,dns) #ifconfig ens33 192.168.185/24 #ens33网卡名称.192.168.185/24是要配置的ip地址/子网掩码 #vim /etc/r ...
- 2017ACM暑期多校联合训练 - Team 9 1005 HDU 6165 FFF at Valentine (dfs)
题目链接 Problem Description At Valentine's eve, Shylock and Lucar were enjoying their time as any other ...
- Redmine数据表字段说明
Redmine数据表结构 issues tracker_id 跟踪标签的id,外键到trakers表 project_id 外键到项目project subject 主题 description 问题 ...
- windows 10 部署flask web
起因 本来想这用django 写一个web 应用程序,便于管理mongodb的数据.结果django 不直接支持mongodb……又没时间研究NoSQL.于是想着随便整个api吧…… 于是先用flas ...
- Sysmon + NXlog构建简单的windows安全监控
工具: Sysmon (sysmon 5.0) ,NXlog(nxlog-ce-2.9.1716.msi) . Sysmon监控系统并生成windows event log, NXlog将wind ...