【Hadoop离线基础总结】linux基础增强
linux基础增强
查找命令
grep命令 (print lines matching a pattern)
概述:
grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来格式:
grep [option] pattern [file]
- 使用实例:
ps -ef | grep sshd ->查找指定ssh服务进程
ps - report a snapshot of the current processes.
显示当前进程
-ef To see every process on the system using standard syntax
使用标准语法查看系统上的每个进程
ps -ef | grep sshd | grep -v grep ->查找指定服务进程,排除grep本身
grep -v --invert-match
Invert the sense of matching, to select non-matching lines. (-v is specified by POSIX.)
反选
ps -ef | grep sshd -c ->查找指定进程个数
cat a.txt | grep -f b.txt ->从文件中读取关键字进行搜索
find命令 (search for files in a directory hierarchy)
概述:
find命令在目录结构中搜索文件,并对搜索结果执行指定的操作
find默认搜索当前目录及其子目录,并且不过滤任何结果(也就是返回所有文件),将它们全部显示在屏幕上格式:
find 路径 查找的类型 查找的名称
- 使用实例:
find / -name hello.txt ->从跟目录下查找一个叫hello.txt的文件
find . -name "*.log" -ls ->在当前目录查找以.log结尾的文件,并显示详细信息
find /root/ -perm 777 ->查找/root/目录下权限为777的文件
find . -type f -name "*.log" ->查找当前目录下以.log结尾的普通文件
find . -type d | sort ->查找当前所有目录并排序
find . -size +100M ->查找当前目录大于100M的文件
locate命令 (find files by name)
概述:
locate让使用者可以很快速地搜寻档案系统内是否有指定的档案
其方法是先建立一个包括系统内所有档案名称及路径的数据库,之后当寻找时就只需查询这个数据库(/var/lib/locatedb)
Linux系统自动创建这个数据库,默认每天自动更新一次,所以使用locate命令查不到最新变动过的文件,为了避免这种情况,可以使用locate之前,先使用updatedb命令,手动更新数据库格式:
locate [OPTION]... PATTERN...
- 使用实例:
locate /etc/sh ->搜索etc目录下所有以sh开头的文件
locate pwd ->查找和pwd相关的所有文件
whereis命令 (locate the binary, source, and manual page files for a command)
概述:
whereis命令是定位可执行文件、源代码文件、帮助文件在文件系统中的位置,这些文件的属性应属于原始代码,二进制文件或是帮助文件
whereis和locate一样,会从数据库中查找数据,而不是像find命令那样,通过遍历硬盘来查找格式:
whereis [options] [-BMS directory... -f] name...
- 使用实例:
whereis ls ->将和ls文件相关的文件都查找出来
whereis -m ls ->查找ls命令说明文档路径
-m Search only for manuals.
whereis -s ls ->查找ls源文件
-s Search only for sources.
which命令 (shows the full path of (shell) commands)
概述:
which命令的作用是在PATH变量指定的路径中,搜索某个系统命令的位置,并且返回第一个搜索结果
使用which命令,就可以看到某个系统命令是否存在,以及执行的到底是哪一个位置的命令格式:
which [options] [--] programname [...]
- 使用实例:
which pwd ->查找pwd命令所在路径
which java ->查找path中java的路径
网络管理
主机名配置
- 查看主机名
hostname
- 修改主机名(重启后无效)
hostname 修改后的主机名
- 修改主机名(重启后永久修改)
CentOS 7之前的版本:
vim /etc/sysconfig/network
输入 HOSTNAME=node01.hadoop.com
CentOS 7:
vim /etc/hostname
输入 node01.hadoop.com
ip地址和mac地址配置
- 修改配置文件
修改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
输入
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=eth0
UUID=b93a2482-7ac9-4883-a956-2e03849d164a
DEVICE=eth0
ONBOOT=yes
PEERDNS=yes
PEERROUTES=yes
IPV6_PEERDNS=yes
IPV6_PEEROUTES=yes
IPV6_PRIVACY=no
HWADDR=00:50:56:30:56:17
GATEWAY=192.168.0.1
IPADDR=192.168.0.10
NETMASK=255.255.255.0
DNS1=114.114.114.114
DNS2=8.8.8.8
修改mac地址
vim /etc/udev/rules.d/70-persistent-net.rules
UBSYSTEM=="net",ACTION=="add",DRIVERS=="?*",ATTR{address}=="00:50:56:30:56:17",ATTR{type}=="1" ,KERNEL=="eth*",NAME="eth0"
域名的映射
- 修改hosts文件
vim /etc/hosts
输入
192.168.0.10 node01.hadoop.com node01
网络端口的监听
- netstat命令 (Print network connections, routing tables, interface statistics, masquerade connections, and multicast memberships)
只需要记住
netstat -nltp ->查看服务器上面所有正在运行的服务及其对应的端口号
【Hadoop离线基础总结】linux基础增强的更多相关文章
- Python 基础之linux基础相关
一: python3.6.x在Ubuntu16.04下安装过程 #(1)保证网络正常连接 sudo add-apt-repository ppa:jonathonf/python-3.6 (如果超时 ...
- 学习笔记三:基础篇Linux基础
Linux基础 直接选择排序>快速排序>基数排序>归并排序 >堆排序>Shell排序>冒泡排序=冒泡排序2 =直接插入排序 一.Linux磁盘分区表示 Linux中 ...
- 计算机基础和Linux基础
计算机原理 计算机发展史 机器语言—让机器干活 差分机—让机器的数学运算和逻辑运算只简化成“加法”,计算机只处理“加法” 计算机硬件CPU=运算器+控制器+寄存器(缓存)硬盘=存储器+寄存器寄存器是为 ...
- 【Linux基础】Linux基础命令行学习笔记
绝对路径:cd /home/python相对路径:cd Downloads . 表示:当前那路径..表示:当前路径的上一层../.. 表示:当前路径的上二层 没有...或者以上的 ls: ls 查看当 ...
- 【Hadoop离线基础总结】linux的shell编程
linux的shell编程 基本了解 概述 Shell是一个用C语言编写的程序,通过shell用户可以访问操作系统内核服务,它类似于DOS下的command和后来的cmd.exe.Shell既是一种命 ...
- 【Hadoop离线基础总结】oozie的安装部署与使用
目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包 ...
- 【Hadoop离线基础总结】Hue的简单介绍和安装部署
目录 Hue的简单介绍 概述 核心功能 安装部署 下载Hue的压缩包并上传到linux解压 编译安装启动 启动Hue进程 hue与其他框架的集成 Hue与Hadoop集成 Hue与Hive集成 Hue ...
- 【Hadoop离线基础总结】Hive调优手段
Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不 ...
- 【Hadoop离线基础总结】impala简单介绍及安装部署
目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...
随机推荐
- 第十三节:telnetlib、redis、threading模块
telnetlib模块案例: import telnetlib,re class TelnetInfo(): def telnetdo(self, host, port, command): tn = ...
- MySQL的事务隔离级别是什么?
我是平也,这有一个专注Gopher技术成长的开源项目「go home」 背景介绍 想必事务大家都已经非常熟悉了,它是一组SQL组成的一个执行单元,要么全执行要么全不执行,这也是它的一个特性--原子性. ...
- tensorflow--filter、strides
最近还在看<TensorFlow 实战Google深度学习框架第二版>这本书,根据第六章里面对于卷基层和池化层的介绍可以发现,在执行 tf.nn.conv2d 和 tf.nn.max_po ...
- mysql 创建表 索引 主键 引擎 自增 注释 编码等
CREATE TABLE text(id INT(20) COMMENT '主键',NAME VARCHAR(20) COMMENT '姓名',PASSWORD VARCHAR(20) COMMENT ...
- 【题解】P1972 [SDOI2009]HH的项链 - 树状数组
P1972 [SDOI2009]HH的项链 声明:本博客所有题解都参照了网络资料或其他博客,仅为博主想加深理解而写,如有疑问欢迎与博主讨论✧。٩(ˊᗜˋ)و✧*。 题目描述 \(HH\) 有一串由各种 ...
- df卡住的解决办法
在使用网络存储时,如果网络存储出问题.比如使用NFS,网络中断,df -h会卡住 情形一 ctrl+c是能取消中断的,这种情况算是比较幸运.使用mount查看有哪些挂载点,将其卸载即可. 情形二 ct ...
- 转载-linux内核长什么样
来源:Linux中国 今天,我来为大家解读一幅来自 TurnOff.us 的漫画 "InSide The Linux Kernel" . TurnOff.us是一个极客漫画网站,作 ...
- Bi-LSTM+CRF在文本序列标注中的应用
传统 CRF 中的输入 X 向量一般是 word 的 one-hot 形式,前面提到这种形式的输入损失了很多词语的语义信息.有了词嵌入方法之后,词向量形式的词表征一般效果比 one-hot 表示的特征 ...
- python爬虫实战之爬取智联职位信息和博客文章信息
1.python爬取招聘信息 简单爬取智联招聘职位信息 # !/usr/bin/env python # -*-coding:utf-8-*- """ @Author ...
- DEDE Fatal error: Maximum execution time of 30 seconds exceeded 致命 错误: 最大的 执行 时间 为 30 秒
刚安的DEDE 5.7 -SP1-GBK的 为何一登录后台点任何链接都显示超过30秒 后台假死 网上搜的方法一般都是更改执行时间上限,其目的是为了解决一些大的数据,真的需要30秒以上的执行时 ...