《OD学hadoop》第一周0625
一、实用网站
1. linux内核版本 www.kernel.org
2. 查看网站服务器使用的系统 www.netcraft.com
二、推荐书籍
1. 《Hadoop权威指南》
1-3版: Hadoop1系列
4版(目前仅有英文原版):Hadoop2系列
yarn高可用性,HA
2. 《Hive权威指南》
3. 《MapReduce设计模式》
4. 《HBase权威指南》
5. 《鸟哥的Linux私房菜》
6. 《Vim使用技巧》、《学习vi和Vim编辑器》
三、Linux基础
无线网密码: kang1234
1. centos用户名密码 root 123456
2. 常用命令
1)ifconfig查看网络信息
清屏 clear 或者ctrl+l
2)Linux系统下设置静态IP或自动获取动态IP的简单方法
vi /etc/sysoconfig/network-scripts/ifcfg-eth0
DNS1=192.168.189.2(网关地址)
service network restart
more /etc/resolv.conf
mac中的linux需要修改mac地址
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=bigdata-senior01.ibeifeng.com
ping通外网需要增加DNS
3)copy的Linux虚拟机网卡问题
http://www.dabu.info/vmware-clone-or-copy-the-linux-virtual-machine-eth0-not-find-the-solution-vmware-copy-copy-or-clone-clone-no-card-rpm.html
http://www.cnblogs.com/yiru/archive/2012/12/03/2799079.html
4)远程连接
SecurityCRT,xshell,xmanager, filezilla, notepad++
5)linux一切皆文件,目录也是文件
6)etc目录
ls -la /etc/
more
ONBOOT=yes
BOOTPROTO=none、DHCP、static(实际工作用的较多)
7)root目录
root用户的主目录(家目录)
8)home目录
9)bin sbin
10)boot 系统启动时加载的文件
11)ls命令
ls -l (long)
ls -a (all)
ls -la
ls -d 查看目录本身属性
ls -ld
12)mkdir
mkdir -p 级联创建目录
13)touch
touch "program files" 创建带空格的文件
14)rmdir
rmdir 删除空的目录
15)
rm 删除一个文件
rm -r 删除一个目录,有提示
rm -rf 删除非空目录,无提示
16)cp
cp -r
17)mv
18)
增:
删:
改:
cat:
more: 分页显示 空格分页查看,回车逐行查看
head: 查看文件开始行 head -n
tail:查看文件末尾行 tail -n
find: 查找
第一种:根据文件名来查找
在搜索的时候,尽量缩小搜索的范围,减少搜索的时间和资源消耗。
* 代表任意字符
? 代表任意单个字符
find / -name init
find /etc/ -name init
find /etc/ -name *init*
find /etc/ -name init*
find /etc/ -name init???
-i 不区分大小写
find /etc/ -iname init???
第二种,根据文件的大小来查找
find / -size
+ 表示大小
- 表示小于
不加 表示等于
-size 后面跟的大小是按照数据块的大小来进行缓存的
Linux中数据块大小是512字节,0.5K
100MB, 1MB = 1024KB, 100MB = 102400 KB
find / -size +204800
第三种,根据文件所有者查找
find /root/ -user root
第四种,根据文件所有组查找
find /root/ -group root
-a and
-o or
-type f d
大于80M且小于100M
find /etc/ -size +163860 -a -size -204800
小于80M或者大于100M
find /etc/ -size -163860 -o -size +204800
find /etc/ -name init* -a -type f
19) Linux权限
drwxr-xr-x
d 代表data,表示目录,可以理解为一个占位符
rwx: 所有者(user,u)
r-x:所属组(group, g)
r-x: 其他人(other, o)
r: 读 cat、head、more、tail
w: 写 mkdir、touch、vi、rm、cp、mv
x:执行 cd
第一种用字母表示: u,g,o
第二种用数字表示:
r:4
w:2
x: 1
-rwxr-xr-x 755
-rw-r--r-- 644
示例:
(1)用字母赋予权限
修改权限命令:chmod
赋予权限用加号+表示:chmod u+x program
同时赋予权限 chmod g+x,o+x program
撤销权限chmod g-x progam
(2)用数字赋予权限(工作中用数字较多)
chmod 777 program
(3)目录有权限,则目录中的文件也会有文件
20)
root:x:0:0:root:/root:/bin/bash
每一列以冒号隔开,其中第三列和第四列:UID和GID
组:teacher组中t1,t2,t3...
cat /etc/passwd
cat /etc/group
创建用户: user add xxx
创建组: groupadd xxx
设置密码:
第一种设置密码方式 passwd username
第二种设置密码方式 echo 'beifeng' | passwd --stdin username
不仅切换了用户而且联通shell环境也一起切换: su - username
切换的仅仅是用户: su username
id root
uid=0(root) gid=0(root) groups=0(root)
uid=500(beifeng) gid=500(beifeng) groups=500(beifeng)
删除用户:
userdel username
userdel -r username
sudo username
21)man
man visudo
man 5 sudoers
四、VI编辑器
1. VI的三种模式
(1)命令模式
esc 进入命令模式
(2)插入模式
(3)最后行模式
shift + :
w 写入保存
q 退出
wq 保存并退出
! 强制操作
q! 不保存修改直接退出
2. 快捷键
(1)光标快速移动到最后一行 大写G
(2)显示行数 shift + : set nu
(3)光标快速移动到第一行 小写gg
(4)删除光标所在行 小写dd
(5)删除多行,比如三行,小写3dd
(6)撤回修改 小写u
(7)粘贴 小写p
(8)赋值,复制yy
(9)替换,:1$s/nologin/88888/g
1代表第一行
$代表最后一行
s代表替换
/nologin 被替换内容
/88888 替换内容
g代表通行替换
1,$ 就是一个范围,
《OD学hadoop》第一周0625的更多相关文章
- 《OD学hadoop》第一周0625 LINUX作业一:Linux系统基本命令(一)
1. 1) vim /etc/udev/rules.d/-persistent-net.rules vi /etc/sysconfig/network-scripts/ifcfg-eth0 TYPE= ...
- 《OD学hadoop》第一周0626 作业二:Linux基础
一.打包压缩 知识点: tar -zxvf -C PATH tar -jxvf tar -zcvf tar -jcvf tar:打包命令 -z 打包同时gzip压缩 -j 打包同时bzip2 -c 打 ...
- 《OD学hadoop》第一周0626
一.磁盘管理 Linux添加新硬盘.分区.格式化.自动挂载 http://lxsym.blog.51cto.com/1364623/321643 给Linux系统新增加一块硬盘 http://www. ...
- 《OD学hadoop》第二周0703
hdfs可视化界面: http://beifeng-hadoop-01:50070/dfshealth.html#tab-overview yarn可视化界面: http://beifeng-hado ...
- 《OD学hadoop》第二周0702
大数据离线计算hadoop2.x 三周(6天) markdown文本剪辑器 罗振宇--跨年演讲,时间的朋友 http://tech.163.com/16/0101/11/BC87H8DF000915B ...
- 《OD学hadoop》第三周0710
一.分布式集群安装1. Hadoop模式本地模式.伪分布模式.集群模式datanode 使用的机器上的磁盘,存储空间nodemanager使用的机器上的内存和CPU(计算和分析数据) 2. 搭建环境准 ...
- 《OD学hadoop》第三周0709
一.MapReduce编程模型1. 中心思想: 分而治之2. map(映射)3. 分布式计算模型,处理海量数据4. 一个简单的MR程序需要制定map().reduce().input.output5. ...
- 《OD学hadoop》第四周0716
7.16 一.回顾 二.HDFS Federation(联盟) Hadoop 2.2.0发布新特性 很多的大公司都在使用:BAT HDFS Federation + HDFS HA架构 互相隔开,但是 ...
- 2017-2018-1 我爱学Java 第一周 作业
构建之法 成员及分工 内容简介 作者简介 分章学习及问题 第一章 概论 第二章 个人技术和流程 第三章 软件工程师的成长 第四章 两人合作 第五章 团队和流程 第六章 敏捷流程 第七章 实战中的软件工 ...
随机推荐
- <string>和<string.h>的区别
转自:http://blog.csdn.net/houjixin/article/details/8648969 在C++开发过程中经常会遇到两个比较容易混淆的头文件引用#include<str ...
- eclipse git 整合
最近朋友都推荐使用github管理自己的项目,而且免费用户可以有5个仓库,恰好我也想了解下git,借此机会学习一下.github官方指南使用独立第三方git工具来进行版本控制,并不借助于eclipse ...
- ASP.NET 将Excel导入数据库
将Excel导入数据库大致流程: Excel数据->DataSet->数据库 需要做的准备:1.FileUpload控件一个,按钮一个,如果需要即时显示那么GridView或DataGr ...
- Delphi中有序型
有序类型包括:.integer(整型).character(字符型).boolean(布尔型).enumerated(枚举型).subrange(子界型)有序类型定义了一组被排序的值.每个相异值都有唯 ...
- BZOJ 1218: [HNOI2003]激光炸弹 前缀DP
1218: [HNOI2003]激光炸弹 Description 一种新型的激光炸弹,可以摧毁一个边长为R的正方形内的所有的目标.现在地图上有n(N<=10000)个目标,用整数Xi,Yi(其值 ...
- JS之DOM(二)
一.DOM节点的操作 1.增加: (1). document.creatElement('标签名');创建元素节点 (2). document.creatTextNode('文本内容'):创建文本节点 ...
- linux查找有用日志常用技巧
对于高级测试人员来说.需要有快速定位问题的能力,而查看有效的日志就是其中有效的方法之一,然而服务器上的日志多如牛毛,如何快速从中找出所需信息非常重要,以下是我在工作中用到的查找日志的简单命令,希望对大 ...
- HtmlAgilityPack 之 HtmlNode类
HtmlAgilityPack中的HtmlNode类与XmlNode类差不多,提供的功能也大同小异.下面来看看该类提供功能. 一.静态属性 public static Dictionary<st ...
- C难点分析
1. 形参和实参 调用函数时,写在括号里面的就是实参,函数本身用的就是形参. 2.字符串问题 char a[5]={"abcd"};注意是4个字符,而不是5个 字符串数组后面带 ...
- P2P金融
P2P金融又叫P2P信贷,是互联网金融(ITFIN)的一种.意思是:点对点. P2P金融指不同的网络节点之间的小额借贷交易(一般指个人),需要借助电子商务专业网络平台帮助借贷双方确立借贷关系并完成相关 ...