HDFS的上传与下载(put & get)
最近在做一个小任务,将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作,在正式开始做之前,首先进行了一段时间的练习,下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏,希望各位网友能够指出。
第二篇:Hive中数据的导入与导出:https://www.cnblogs.com/BlackString/p/10552806.html
第三篇:Hive分区表的导入与导出:https://www.cnblogs.com/BlackString/p/10552901.html
第四篇:跨平台传输方案:https://www.cnblogs.com/BlackString/p/10553010.html
1. 操作指令
该操作的主要步骤是从一个平台的HDFS中拉取数据,然后上传到另一平台的HDFS中。
Hadoop下HDFS的操作指令包括:
1)上传文件:
hadoop fs -copyFromLocal /File
hadoop fs -put File /File(Folder)
前者只能上传文件,后者可以上传文件夹。
2)创建目录:hadoop fs -mkdir /Index
3)删除目录:hadoop fs -rmdir /Index
4)删除文件:hadoop fs /File
5)递归删除:hadoop fs -rmr /FileIndex
6)下载文件:hadoop fs -get /File /SavePath
7)查看文件:hadoop fs -ls /File
8)递归查看:hadoop fs -lsr /FileIndex
9)查看内容:hadoop fs -cat /File
10)查看最后1000字节:hadoop fs -tail /File
11)移动文件:hadoop fs -mv /File
12)重命名文件:hadoop fs -mv /FileName /NewFileName
13)创建空文件:hadoop fs -touchz /FileName
14)合并下载:hadoop fs -getmerge /
2. 上传文件测试
在正式转移数据之前,我们首先进行一些数据转移的练习。
1)首先,在Linux系统下建立一个Test文件夹(/home/Test),在其中新建三个文本文件:
[root@DataCenter2 Test]# ll
总用量 12
-rw-r--r-- 1 root root 34 3月 14 15:25 1.txt
-rw-r--r-- 1 root root 16 3月 14 15:25 2.txt
-rw-r--r-- 1 root root 17 3月 14 15:25 3.txt
2)查看HDFS的文件系统,我们选择文件夹/user/admin/hdfsTest,首先查看其信息:
drwxr-xr-x - hdfs admin 0 2018-08-27 15:47 /user/admin/hdfsTest
查看该目录中的数据,该目录下包含两个文件:
[root@DataCenter2 Test]# hadoop fs -ls /user/admin/hdfsTest
Found 2 items
-rw-r--r-- 3 hdfs admin 1004054 2018-08-27 15:47 /user/admin/hdfsTest/img102.jpg
-rw-r--r-- 3 hdfs admin 29 2018-08-27 15:39 /user/admin/hdfsTest/testHDFS.txt
3)尝试从Test目录下上传一个文本到目录 HDFS:/user/admin/hdfsTest 下,结果如下:
[root@DataCenter2 Test]# hadoop fs -put 1.txt /user/admin/hdfsTest
put: Permission denied: user=root, access=WRITE,inode="/user/admin/hdfsTest":hdfs:admin:drwxr-xr-x
结果显示,当前账户权限不足,不能向HDFS中写入数据。但是当前登录的账户是root,怎么会权限不足呢?
经过查询,大致发现问题所在,在CDH平台中,文件的所有者并不是所谓的“root”,而是为“hdfs”所有(drwxr-xr-x / 755权限,这里将hdfs理解为一个属于supergroup的用户)。
事实上,回头看/user目录的权限,会发现该目录的权限组的确是supergroup:
drwxrwxrwx - hdfs supergroup 0 2018-12-04 16:53 /user
4)如何解决权限不足的问题?
可以想到的有两种方案:一是关闭系统的权限验证,而是提升当前账户的权限。一般来说不会使用第一种方案,那么就需要提升当前账户的权限。
那么如何提升权限?这里需要用到指令:sudo。
关于该指令的介绍如下:
sudo是linux系统管理指令,是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具,如halt,reboot,su等等。这样不仅减少了root用户的登录 和管理时间,同样也提高了安全性。sudo不是对shell的一个代替,它是面向每个命令的。
sudo的特性:
sudo能够限制用户只在某台主机上运行某些命令。
sudo提供了丰富的日志,详细地记录了每个用户干了什么。它能够将日志传到中心主机或者日志服务器。
sudo使用时间戳文件来执行类似的“检票”系统。当用户调用sudo并且输入它的密码时,用户获得了一张存活期为5分钟的票(这个值可以在编译的时候改变)。
sudo的配置文件是sudoers文件,它允许系统管理员集中的管理用户的使用权限和使用的主机。它所存放的位置默认是在/etc/sudoers,属性必须为0440。
sudo的原理:
在sudo于1980年前后被写出之前,一般用户管理系统的方式是利用su切换为超级用户。但是使用su的缺点之一在于必须要先告知超级用户的密码。
sudo使一般用户不需要知道超级用户的密码即可获得权限。首先超级用户将普通用户的名字、可以执行的特定命令、按照哪种用户或用户组的身份执行等信息,登记在特殊的文件中(通常是/etc/sudoers),即完成对该用户的授权(此时该用户称为“sudoer”);在一般用户需要取得特殊权限时,其可在命令前加上“sudo”,此时sudo将会询问该用户自己的密码(以确认终端机前的是该用户本人),回答后系统即会将该命令的进程以超级用户的权限运行。之后的一段时间内(默认为5分钟,可在/etc/sudoers自定义),使用sudo不需要再次输入密码。
由于不需要超级用户的密码,部分Unix系统甚至利用sudo使一般用户取代超级用户作为管理帐号,例如Ubuntu、Mac OS X等。
sudo的语法:
sudo [-bhHpV][-s ][-u <用户>][指令]
或
sudo [-klv]
参数
-b 在后台执行指令。
-h 显示帮助。
-H 将HOME环境变量设为新身份的HOME环境变量。
-k 结束密码的有效期限,也就是下次再执行sudo时便需要输入密码。
-l 列出目前用户可执行与无法执行的指令。
-p 改变询问密码的提示符号。
-s 执行指定的shell。
-u <用户> 以指定的用户作为新的身份。若不加上此参数,则预设以root作为新的身份。
-v 延长密码有效期限5分钟。
-V 显示版本信息。
-S 从标准输入流替代终端来获取密码
5)尝试使用sudo进行上传文件:
[root@DataCenter2 Test]# sudo -u hdfs hadoop fs -put 1.txt /user/admin/hdfsTest
[root@DataCenter2 Test]# hadoop fs -ls /user/admin/hdfsTest
-rw-r--r-- 3 hdfs admin 34 2019-03-14 16:24 /user/admin/hdfsTest/1.txt
会发现,使用sudo指令后的操作成功执行了。
3. 下载文件测试
上传文件成功后,让我们在尝试进行下载文件。
1)仍然是 /user/admin/hdfsTest 目录,这次我们尝试下载文件img102.jpg。
[root@DataCenter2 Test]# hadoop fs -ls /user/admin/hdfsTest
Found 2 items
-rw-r--r-- 3 hdfs admin 1004054 2018-08-27 15:47 /user/admin/hdfsTest/img102.jpg
-rw-r--r-- 3 hdfs admin 29 2018-08-27 15:39 /user/admin/hdfsTest/testHDFS.txt
2)执行命令,下载文件:
[root@DataCenter2 Test]# hadoop fs -get /user/admin/hdfsTest/img102.jpg ./
[root@DataCenter2 Test]# ls
1.txt 2.txt 3.txt img102.jpg
发现成功下载文件。
4. 上传及下载文件成功后,还需要进行Hive中数据的下载与导入。该测试我们放入下一个文档进行。
HDFS的上传与下载(put & get)的更多相关文章
- Nginx集群之WCF大文件上传及下载(支持6G传输)
目录 1 大概思路... 1 2 Nginx集群之WCF大文件上传及下载... 1 3 BasicHttpBinding相关配置解析... 2 4 编写 ...
- fastdfs 上传和下载 有用
一.FastDFS解决什么样的问题 1.存储空间可扩展. 2.提供一个统一的访问方式. 使用FastDFS,分布式文件系统.存储空间可以横向扩展,可以实现服务器的高可用.支持每个节点有备份机. 二.什 ...
- hdfs文件上传机制与namenode元数据管理机制
1.hdfs文件上传机制 文件上传过程: 1.客户端想NameNode申请上传文件, 2.NameNode返回此次上传的分配DataNode情况给客户端 3.客户端开始依向dataName上传对应 ...
- win7下利用ftp实现华为路由器的上传和下载
win7下利用ftp实现华为路由器的上传和下载 1. Win7下ftp的安装和配置 (1)开始->控制面板->程序->程序和功能->打开或关闭Windows功能 (2)在Wi ...
- Java实现FTP文件与文件夹的上传和下载
Java实现FTP文件与文件夹的上传和下载 FTP 是File Transfer Protocol(文件传输协议)的英文简称,而中文简称为"文传协议".用于Internet上的控制 ...
- java web学习总结(二十四) -------------------Servlet文件上传和下载的实现
在Web应用系统开发中,文件上传和下载功能是非常常用的功能,今天来讲一下JavaWeb中的文件上传和下载功能的实现. 对于文件上传,浏览器在上传的过程中是将文件以流的形式提交到服务器端的,如果直接使用 ...
- Struts2入门(七)——Struts2的文件上传和下载
一.前言 在之前的随笔之中,我们已经了解Java通过上传组件来实现上传和下载,这次我们来了解Struts2的上传和下载. 注意:文件上传时,我们需要将表单提交方式设置为"POST" ...
- php实现文件上传与下载(上)
php实现文件的上传与下载是一个挺基本的功能,一般网站多多少少都会有这样的需求在内,当然不是说所有的文件都可以被上传,那这网络就太没有安全性可言了.因为接触php时间不长,今天写练练手,随笔也就是公开 ...
- SecureCRT上传和下载文件
SecureCRT上传和下载文件(下载默认目录) SecureCR 下的文件传输协议有ASCII .Xmodem .Ymodem .Zmodem ASCII:这是最快的传输协议,但只能传送文本文件. ...
随机推荐
- Mysql安装、设置密码、编码
一.MySQL介绍 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下公司.MySQL 最流行的关系型数据库管理系统,在 WEB 应用方面MySQL是 ...
- 关于Win10安装vs2013简体中文语言包无法安装的问题
Win10下安装VS2013后无法安装VS2013中文简体语言包,提示Windows程序兼容模式已打开. 解决方案: 1,随便找个文件夹将简体中文语言包放入其中,发送快捷方式到桌面,右击快捷方式 选择 ...
- Lua table遍历
工作中,栽了一个“坑”,特此备录. [1]遍历table1,每次结果可能都不同 -- 获取value ", addr="xian"} for k, v in pairs( ...
- java数组集合元素的查找
java数组和集合的元素查找类似,下面以集合为例. 数组集合元素查找分为两类: 基本查找: 二分折半查找: 基本查找: 两种方式都是for循环来判断,一种通过索引值来判断,一种通过数组索引判断. 索引 ...
- Python中自定义filter用法
django中新建项目,在项目中新建app,自定义filter一般放到app中.结构目录如下: 1.先在APP中新建一个templatetags的django文件夹,文件夹中新建一个filter的py ...
- 进行分支切换时,出现error的修复方法
进行分支切换时,出现如此错误,导致无法正常切换:error: The following untracked working tree files would be overwritten by ch ...
- JDK(java development kit java开发工具包)的安装
想要进行Java开发工作,首先我们得进行JDK的下载.安装.配置.测试,如果是新手,我们不妨新建一个文件夹,在文件夹下面新建".java"文件,用记事本打开,写一段简单的java入 ...
- 分治(超级easy 不要看)
P1226快速幂 #include<bits/stdc++.h> using namespace std; #define int long long ; int f(int b,int ...
- hdu2159 FATE----完全背包
标准完全背包板子,动态方程为dp[j][x]=max(dp[j][x],dp[j-c[i]][x-1]+a[i]); 其中,dp[j][x]表示花费j点耐心杀x个怪所能得到的最大经验值. 具体代码如下 ...
- gradle project sync failed.please fix your project and try again-Android Studio3.1.2运行出错
原因: 修改了工程中MainActivity.java和app文件夹下的代码后运行不了. 解决办法: 关闭Android Studio,然后再重新启动,它会再次构建gradle.