使用配置hadoop中常用的Linux(ubuntu)命令

生成key：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

    -t   密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。

   -f filename             指定密钥文件名。

 

来源：http://www.aboutyun.com/thread-6487-1-1.html

 

远程登录执行shell命令key

ssh远程登录，并在远程创建文件

ssh user@host 'mkdir -p .ssh && cat >> .ssh/authorized_keys' < ~/.ssh/id_rsa.pub

来源：http://www.aboutyun.com/thread-6977-1-1.html

 

远程复制

scp authorized_keys tan@ubuntu:~/.ssh/authorized_keys_from_yang

sudo scp -r /usr/hadoop aboutyun@slave1:~/

 

 

文件追加内容

cat authorized_keys_from_yang  >>  authorized_keys

 

解压包：

sudo tar zxvf ./jdk-7-linux-i586.tar.gz  -C /usr/lib/jvm

 

文件复制：（jdk复制到opt中）

sudo cp -r  jdk/ /opt

 

文件移动

sudo mv jdk opt

(有的时候没有权限，所以必须加上sudo)

 

文件更改所有者(下面为更改hadoop文件夹的权限)

sudo chown -R  aboutyun:aboutyun  hadoop

 

查看端口是否被暂用

sudo netstat -ap | grep 8080

sudo netstat -ant|grep 3306

 

Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name

 

tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      1651/mysqld

表示的含义

mysql的默认端口 3306 打开着

0.0.0.0 代表你的本地网络地址 后一个代表外部网络地址 有连接的话就有真正的IP地址了

 

hadoop开启调试

开启debug  export HADOOP_ROOT_LOGGER=DEBUG,console

 

Linux打包命令

 

tar czvf my.tar.gz hadoop-2.4.0-src

 

杀掉一个进程

kill 进程号

kill -9 进程号

 

rpm -qa|grep softname

表示的含义是：

就是从安装的软件中查询出softname这个软件

 

详解如下：

grep 内容 对象

表示从“对象”中查找“内容”，并打印

|

管道符号，前一个命令的输出（即结果）作为下个命令的输入

rpm -qa

rpm管理命令 查询所有安装的软件

所以rpm -qa|grep softname

就是从安装的软件中查询出softname这个软件

 

 

hive安装mysql常用命令

 

查看软件是否安装

netstat -tap | grep mysql

 

 

测试mysql远程连接成功：

 

mysql -h172.16.77.15 -uroot -p123

 

mysql -h主机地址 -u用户名 －p用户密码

 

查看字符集

 show variables like '%char%';

 

修改字符集：

vi /etc/my.cnf

在[client]下添加

default-character-set=utf8

 

创建sudo无密码登陆

给aboutyun用户设置无密码sudo权限：

chmode u+w /etc/sudoers

aboutyun ALL=(root)NOPASSWD:ALL

chmod u-w /etc/sudoers

测试：sudo ifconfig

 

 

 

ubuntu查看服务列表代码  

sudo service --status-all

sudo initctl list

 

查看文件大小：

du -sh hadoop-2.7.0-src

 

打包zip

zip -r myfile.zip ./*