hadoop hive hbase flume sqoop基本操作

top

里的id为cpu空闲度

如果wa为99.8就是负担太重。得停掉一些任务

cat /proc/cpuinfo

查看cpu信息

cat /proc/meminfo

查看内存信息

hadoop基础操作

start-all.sh

切换到hadoop用户启动hadoop

三个节点启动zkserver

cd  /usr/local/src/hadoop
zkServer.sh start

(master  jps)
8534 SecondaryNameNode
9659 Jps
8334 NameNode
8703 ResourceManager
8975 QuorumPeerMain

查看从属节点

bin/hdfs dfsadmin -report

查看hdfs空间使用情况

hdfs dfs -df /

HBase

进入目录查看版本
cd /usr/local/src/hbase/
hbase version

启动hbase

start-hbase.sh

进入hbase shell 界面

hbase  shell

hadoop

需要离开安全模式
hdfs dfsadmin -safemode leave

查看版本以及状态

hbase(main):001:0> version
1.2.1, r8d8a7107dc4ccbf36a92f64675dc60392f85c015, Wed Mar 30 11:19:21 CDT 2016

hbase(main):002:0> state
NameError: undefined local variable or method `state' for #<Object:0x78d71df1>

简单查询HBase状态

status 'simple'

查询更多关于 HBase 状态，执行命令

help  'status'

停止hbase

stop-hbase.sh

进入目录执行hive

cd /usr/local/src/hive
hive

hive

查看数据库
show  databases;

查看库里的所有表

use  default
show  tables;

创建表

create table stu(id int,name string);

信息插入表

insert into stu values (1001,'zhangsan');

显示表

show tables;

查看表结构

desc stu;

查看表信息

hive> select * from stu;
OK
1001    zhangsan

查看本地文件系统

hive> !ls /usr/local/src;
file:
flume
fox.java
hadoop
hbase
hive
jdk
sqoop
student.java
zookeeper

查看hdfs内容

hive> dfs -ls /;
Found 6 items
drwxr-xr-x   - hadoop supergroup          0 2022-05-20 16:12 /hbase
drwxr-xr-x   - hadoop supergroup          0 2022-04-25 19:20 /input
drwxr-xr-x   - hadoop supergroup          0 2022-04-25 19:20 /output
drwxr-xr-x   - hadoop supergroup          0 2022-04-25 19:26 /outputp
drwxrwxrwx   - hadoop supergroup          0 2022-05-06 15:14 /tmp
drwxr-xr-x   - hadoop supergroup          0 2022-04-29 17:05 /user
hive> 

查看历史命令
cd /home/hadoop/
cat   .hivehistory

监控大数据平台状态

查看zookeeper状态

[hadoop@master ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[hadoop@master ~]$

查看运行进程

jps

输入命令zkCli.sh 连接到zookeeper服务

zkCli.sh

开启监控

get  /hbase 1

[zk: localhost:2181(CONNECTED) 3] set /hbase value-update
cZxid = 0x700000002
ctime = Tue Apr 26 20:11:10 CST 2022
mZxid = 0xb0000005b
mtime = Fri May 20 16:46:52 CST 2022
pZxid = 0xb00000053
cversion = 22
dataVersion = 3
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 12
numChildren = 14
[zk: localhost:2181(CONNECTED) 4]

数据版本变更 /hbase处于监控中

查看sqoop版本

cd  /usr/local/src/sqoop
./bin/sqoop-version
Warning: /usr/local/src/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/src/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
22/05/20 16:48:44 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017
[hadoop@master sqoop]$

检查sqoop是否能够连接数据库

bin/sqoop   list-databases --connect jdbc:mysql://master:3306/ --username root --password Huawei123$

查看帮助

sqoop help

查看flume版本

cd /usr/local/src/flume
flume-ng  version

编写配置文件

vim /usr/local/src/flume/example.conf
[hadoop@master flume]$ vim /usr/local/src/flume/example.conf

# 在文件中写入以下内容
# a1 是 agent 名，r1,k1,c1 是 a1 的三个组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1
# 设置 r1 源文件的类型、路径和文件头属性
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/usr/local/src/flume/
a1.sources.r1.fileHeader=true
# 设置 k1 目标存储器属性
a1.sinks.k1.type=hdfs # 目标存储器类型 hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/flume # 目标存储位置
a1.sinks.k1.hdfs.rollsize=1048760 #临时文件达 1048760 bytes 时，滚动形
成目标文件
a1.sinks.k1.hdfs.rollCount=0 #0 表示不根据 events 数量来滚动形成目标文件
a1.sinks.k1.hdfs.rollInterval=900 # 间隔 900 秒将临时文件滚动形成目标文
件
a1.sinks.k1.hdfs.useLocalTimeStamp=true # 使用本地时间戳
# 设置 c1 暂存容器属性
a1.channels.c1.type=file # 使用文件作为暂存容器
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
# 使用 c1 作为源和目标数据的传输通道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

连接flume

/usr/local/src/flume/bin/flume-ng agent --
conf ./conf --conf-file ./example.conf --name a1 -
Dflume.root.logger=INFO,console

查看是否成功

hdfs dfs -lsr /flume