在安装好hadoop集群并成功的启动了hdfs之后,我们就可以利用hdfs对文件进行操作了,一下是对文件的一些基本操作 hdfs基本操作 1.查询命令 hadoop dfs -ls /   查询/目录下的所有文件和文件夹 hadoop dfs -ls -R 以递归的方式查询/目录下的所有文件 2.创建文件夹 hadoop dfs -mkdir /test    创建test文件夹 3.创建新的空文件 hadoop dfs -touchz /aa.txt   在/目录下创建一个空文件aa.txt…

配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似 1)  配置Hadoop的环境变量,类似Java的配置 在 ~/.bash_profile 中加入 export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0 export PATH=$HADOOP_HOME/bin:$PATH 2)  获取命令帮助: 使用命令  hadoop fs 如图: 3)   shell命令的简单使用    操作    命令 创建文件夹test  hadoop…

1.HDFS shell 1.0查看帮助  hadoop fs -help <cmd> 1.1上传  hadoop fs -put <linux上文件> <hdfs上的路径> 1.2查看文件内容  hadoop fs -cat <hdfs上的路径> 1.3查看文件列表  hadoop fs -ls / 1.4下载文件  hadoop fs -get <hdfs上的路径> <linux上文件>…

bin/hdfs -help bin/hdfs dfs -mkdir -p /yfq/test/ bin/hdfs dfs -put /etc/profile /yfq/test/profile 上传文件 bin/hdfs dfs -put /etc/* /yfq/test/上传文件夹 bin/hdfs dfs -cat /yfq/test/profile查看文件 bin/hdfs dfs -get /yfq/test/profile . 下载profile文件到当前目录 bin/hdfs df…

GitHub客户端和Shell指令的简单实用 客户端操作, web端操作, shell指令操作. 掌握了这三种操作,基本上就可以很好的运用gitHub了. 创建项目, 可以通过web端进行创建. 可以通过客户端进行创建. 迁出项目, 可以通过客户端迁出项目. 提交代码, 可以通过web端, 通过客户端, 通过shell控制. 可以向主分支中,提交代码. 可以通过客户端, shell脚本控制. 可以查看文件状态. 通过shell脚本. 可以创建分支,从分支提交到主仓库. 通过客户端. 可以查看配置…

1.目录操作 hdfs dfs [命令]  [命令]         等价于            hadoop fs []  [] 1  ./bin/hdfs dfs -mkdir -p /user/hadoop     基本操作在hadoop目录bin中hdfs  后跟dfs -mkdir 创建目录    -p代表创建多级目录 2  hadoop fs -ls .    "."表示当前用户目录 3  hadoop fs -mkdir /input    创建input目录 4  h…

1.查看HDFS目录下得文件是否存在 package Hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CheckFileExist { public static void…

现在我们把文件都存在HDFS文件系统之上,现在有一个jdk.zip文件存储在上面,我们想知道这个文件在哪些节点之上?切成了几个块?每个块的大小是怎么样?先上测试类代码: /** * 查看文件块信息 * @throws Exception */ @Test public void getFileBlockLocations() throws Exception{ FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfsapi/…

1. 查看文件 ls        ls -l  查看文件详细信息 ls -a 查看所有文件(包含隐藏文件) ls -lh  带单位显示文件大小 ls -i  查看文件的节点号(相当身份证唯一)  2. 复制文件/文件夹  cp (复制的文件可以修改名字) cp     源             目的地 cp     文件名     目录名 cp     文件名     文件名 cp     -r  目录名     目录名        参数-r表示文件夹中的内容递归复制 cp     ~/f…

HDFS shell操作及HDFS Java API编程 1.熟悉Hadoop文件结构. 2.进行HDFS shell操作. 3.掌握通过Hadoop Java API对HDFS操作. 4.了解Hadoop文件操作原理. 1.查看HDFS的NameNode和DataNode目录结构. 2.通过HDFS shell进行文件上传,目录创建等操作. 3.通过Java API进行文件增删查改操作. Hdfs shell 操作: 查看hdfs根目录: Hdfs dfs -ls / 创建文件夹 Hdfs d…