指导手册03：Hadoop基础操作

【指导手册03：Hadoop基础操作】的更多相关文章

指导手册03：Hadoop基础操作

指导手册03:Hadoop基础操作 Part 1:查看Hadoop集群的基本信息1．查询存储系统信息(1)在WEB浏览器的地址栏输入http://master:50070/ 请查看自己的Hadoop集群填写下表 Configured Capacity:己配置的文件系统存储总量 DFS Remaining :可使用的DFS存储总量 Non DFS Used 被非DFS的应用所占用的存储总量 DFS Used:己使用的 DFS存储总量 Live Nodes: 在线的数据节点: (2)显示数据节点…

实训任务02：Hadoop基础操作

实训任务02:Hadoop基础操作班级学号姓名实训1:创建测试文件上传HDFS,并显示内容需求说明: 在本地计算机上创建测试文件helloHadoop.txt,输入任意3行记录.将helloHadoop.txt上传到HDFS目录/user/root/filetest/下,并以HDFS命令显示它的内容(提示:HDFS目录/user/root/filetest并不存在,因此需要先创建它. 实现思路及步骤: (1) 用vi编辑器编写…

hadoop - 基础操作

查看文件: [root@hadoop hadoop]# hadoop fs -lsr /drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /homedrwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoopdrwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmpdrwxr-xr-x - root supergroup…

hadoop基础操作

通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹上传文件至hdfs 启动Hive 创建原始文档表导入文件内容到表docs并查看用HQL进行词频统计,结果放在表word_count里查看统计结果 start-all.sh hdfs dfs -put ~/wordcount.txt input/wordcount.txt hive > create database test02; > create table test02(content str…

指导手册04：运行MapReduce

指导手册04:运行MapReduce Part 1:运行单个MapReduce任务情景描述: 本次任务要求对HDFS目录中的数据文件/user/root/email_log.txt进行计算处理,统计出第个用户的登录次数. 情景分析:统计出每个用户登录次数,等同于求出每个email出现的次数,可以进一步抽象为统计每个单司出现的频次.在Hadoop官方提供的示例包中,正好有进行记频统计的模块. 1．Hadoop官方的示例程序包在集群服务器的本地目录”$HADOOP_HOME/share/ha…

指导手册02：伪分布式安装Hadoop(ubuntuLinux)

指导手册02:伪分布式安装Hadoop(ubuntuLinux) Part 1:安装及配置虚拟机 1.安装Linux. 1.安装Ubuntu1604 64位系统 2.设置语言,能输入中文 3.创建hadoop账户 sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop //输入2遍密码 sudo adduser hadoop sudo #设置hadoop用户的管理员权限 5.更新apt 设置更新和服务中,更新站点选中国阿里云,执行“s…

【Linux 操作系统】Ubuntu 基础操作基础命令热键 man手册使用关机重启等命令使用

. : 关机, 如果将Linux默认运行等级设置为0, 系统将无法启动; -- : 多用户模式, 允许使用网络文件系统, 一般不使用图形界面登陆就是这种模式; -- : 多用户图形界面模式, 该模式下可以启动图形界面; -- 6 : 重启, 如果将Linux默认运行等级设置为0, 系统将无法重启; 运行等级相关命令操作 : -- 查看当前运行级别 : runlevel ; [root@ip28 bin]# runlevel N 3 -- 设置运行等级 : init 3, 就是将运行等级设置为3;…