快速传输大数据(tar+lz4+pv)   如果用传统SCP远程拷贝,速度是比较慢的.现在采用lz4压缩传输.LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU.它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S.通常能够达到多核系统上的RAM速度限制. 你PV 全命为Pipe Viewer,利用它我们可以查看到命令执行的进度. 下面介绍下lz4和pv的安装,下载软件: 下载pv-1.1.4.tar.gz wget http://sourceforge…

tar gzip ,bzip2对于文件目录压缩支持有限,所以出现了tar命令 tar [选项]  打包文件名  源文件 -c 打包 -v 显示过程 -f 指定打包文件名 -x 解包 -z 压缩成.tar.gz格式 -j 压缩成.tar.bz2格式 -t 只查看压缩包里面的内容,不进行压缩操作 两步进行 第一步:将文件打包( tar -cvf) tar -cvf  打包文件名  源文件 第二步:压缩成gz格式或者bz2格式 test.tar  压缩成.gz格式 test.tar  压缩成.bz2格…

1.下载地址: www.rarlab.com/download.htm 2.解压tar.gz文件(cd进入文件目录) # cd /home/wjshan0808/Documents # ls rarlinux-x64-5.0.b8.tar.gz # tar -zxvf rarlinux-x64-5.0.b8.tar.gz rar/ rar/technote.txt rar/order.htm rar/acknow.txt rar/readme.txt rar/rar_static rar/def…

树的结构说得差不多了,现在我们来说说一种数据结构叫做哈希表(hash table),哈希表有是干什么用的呢?我们知道树的操作的时间复杂度通常为O(logN),那有没有更快的数据结构?当然有,那就是哈希表: 1.哈希表简介 哈希表(hash table)是一种数据结构,提供很快速的插入和查找操作(有的时候甚至删除操作也是),时间复杂度为O(1),对比时间复杂度就可以知道哈希表比树的效率快得多,并且哈希表的实现也相对容易,然而没有任何一种数据结构是完美的,哈希表也是:哈希表最大的缺陷就是基于数组,因…

下载 1.Idea与Webstorm同为JetBrains公司的产品,因此安装使用方式也极为相似,首先我们打开IDEA的官方下载网站:https://www.jetbrains.com/idea/,点击download: 2.选择操作系统,然后选择ultinate版本,再次点击download按钮,即下载开始. 安装 1.点击刚下载下来的ideaIU-2017.3.4.exe,点击next,选择安装路径,再次点击next: 2.创建桌面快捷键,以及创建关联: 3.点击next,再点击instal…

官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便.后期的集群统一包升级也非常好.这也是我之所以选择离线安装的原因. 包括MySQL数据库我均采用二进制安装包方式配置,且大部分步骤仅写成脚本模式,不做说明. 补充一句,如果测试安装,建议以root用户权限进行配置部署,另外cloudera…

本来想说说检索的,不过不知道什么鬼,下载ElasticSearch太慢了,还是放一下,后面有机会再补上!今天就说个简单的东西,来说说任务. 什么叫做任务呢?其实就是类中实现了一个什么功能的方法.常见的任务就是异步任务,定时任务,发邮件. 异步任务:其实就是一个很特别的方法,这个方法没有返回值(也可以有返回值,后面会说的),但是方法内部的逻辑会耗费很多时间!例如,用户请求每次到controller,要执行到这个异步方法的时候,我们只需要命令一个空闲状态的线程去执行它即可,由于没有返回值不影响后续代…

Summary 今天放假,比赛于是就没有打了,但是看了一下题,发现都挺简单了,不想码~╮(╯▽╰)╭懒虫一条.最后一题居然做过原题.这次比赛让我对并查集“刮目相看”,对贪心感到“前途无量”,觉得树形DP很有趣,但也很难,但也都打出来了.要多做关于树形DP的题目,来充实自己. Problem T1 [GDOI2003]购物 题目大意 给你很多种物品,你购买每个物品就可以剩下ai钱,但是编号x和y号物品,买了其一,就不能买其二,且不会出现一个环的情况.问最多能节省多少钱. 想法 这道题好像做过一道类…

博客园首发,转载请注明出处:https://www.cnblogs.com/tzxxh/p/9123231.html 一.准备 1.关闭cdh中的服务 hdfs.yarn等所有服务:关闭 cm-server.cm-agent:备份cm元数据库. 2.下载 http://archive.cloudera.com/cdh5/parcels/5.13.3/ CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel CDH-5.13.3-1.cdh5.13.3.p0.2-el7.pa…

tar -zcvf /home/xahot.tar.gz /xahottar -zcvf 打包后生成的文件名全路径 要打包的目录 sudo apt install zip unzip zip -r abcdef.zip abc def.txt 这句命令的意思是将文件夹abc和文件def.txt压缩成一个压缩包abcdef.zip zip -r abc.zip abc   (abc是个文件夹,-r递归遍历abc所有的文件)…