今天的一个业务场景就是要把三年的数据从第一天不停的融合起来,每一天作为表格一个新的分区.由于空间有限,数据量很大,可能每天数据都是几十个G的大小.所以我需要做的一点就是在融合这一天之后,删除一天的分区数据,为了保险起见,我删除这一天的前三天的数据. 大致代码是这样的 function shan(){ cat <<EOF ALTER TABLE table_name DROP PARTITION (dt='$san'); EOF } first=20160706 second=20190310

linux 虽然一直都有在玩,但是对硬盘操作确实不是很熟悉今天有空,就整理了下. 1, 创建分区 先查看下是否有磁盘没有分区 fdisk -l 其中第一个框和第二个框,是已经分好区的磁盘,第三个硬盘没有分区. 开始分区 fdisk /dev/sdc 输入m,可以查看有哪些操作 输入p 查看当前硬盘分区,目前没有分区. 输入n新建一个分区,输入p 建立分区,输入分区编号 1 然后会让你设置开始扇区(不知道是否这么解释):默认回车就是1  从头开始 然后结束扇区设置1000   这个值好像决定了分区

Linux 虽然一直都有在玩,但是对硬盘操作确实不是很熟悉今天有空,就整理了下. 1,创建分区 先查看下是否有磁盘没有分区 fdisk -l 其中第一个框和第二个框,是已经分好区的磁盘,第三个硬盘没有分区. 开始分区 fdisk /dev/sdc 输入m,可以查看有哪些操作 输入p 查看当前硬盘分区,目前没有分区. 输入n新建一个分区,输入p 建立分区,输入分区编号 1 然后会让你设置开始扇区(不知道是否这么解释):默认回车就是1  从头开始 然后结束扇区设置1000   这个值好像决定了分区的

本文简单介绍了下文件系统及其操作(df命令),磁盘分区.格式化,还有最主要是挂载操作. 在这里对"挂载"做个说明,我们都知道文件系统是创建在磁盘上面的,每个文件系统都有独立的inode.block等信息,而这个文件系统要能连接到目录树才能被我们访问.将文件系统与目录树产生关联的操作我们就成为挂载.即将文件系统挂载到某个目录下,该目录为进入该文件系统的入口. 一.  创建分区 先查看下是否有磁盘没有分区 fdisk -l 其中第一个框是已经分好区的磁盘,第二.三个硬盘没有分区.下面开始分

添加分区: ', p_loctype='MHA'); 已经创建好的分区表: INFO : Loading partition {p_hour, p_city, p_loctype=MHA} INFO : Loading partition {p_hour, p_city, p_loctype=MHA} INFO : Loading partition {p_hour, p_city, p_loctype=MHA} INFO : Loading partition {p_hour, p_city,

命令如下: 增加分区 ', p_loctype='MHA'); 删除分区 ALTER TABLE my_partition_test_table DROP IF EXISTS PARTITION (p_loctype='MHA');

业务需求:定期删除表中三个月之前的数据 说明:由于表采取一个月一个分区的设计,所以删除三个月之前的数据也就是删除三个月之前的分区.但需要注意的是删除分区后全局索引会失效,而本地local索引不会受到影响. 删除分区的语法: ALTER TABLE TABLE_NAME TRUNCATE PARTITION (PARTITION_NAME); 假如表名是:T_GOODS_RECORD_DETAIL 需要删除的分区分别是:PAR_G001,PAR_G002. 则删除分区的SQL: ALTER TAB

目录 Linux 硬盘格式化.分区.挂载.卸载.删除分区 0. 查看挂载情况 1. 查看硬盘信息 2. 创建分区 3. 查看磁盘信息 4. 格式化分区 5. 将分区信息写入fstab, 设置开机自动挂载 6. 挂载分区 7. 查看分区挂载情况 8. 取消挂载 9. 删除分区 10. 再次查看 Linux 重新调整分区大小 0. 查看磁盘使用情况 1. 卸载/home 2. 压缩/home 3. 挂载/home 4. 设置空闲时间 5. 把闲置空间挂在到根目录下 6. 完成 Linux 硬盘格式化

我们去年就开始把zabbix数据库改成用TokuDB来支撑,并且启用了表分区(详情见:迁移Zabbix数据库到TokuDB).这样做的好处很明显,较早的历史数据可以通过删除分区快速废弃掉.要知道,zabbix数据表默认是没有针对时间字段创建索引的,因此如果执行删除的SQL命令,其效率会很差,而直接删除分区就快多了. 先看history表的分区规则: CREATE TABLE history ( itemid bigint(20) unsigned NOT NULL, clock int(11)

添加分区并挂载目录 Linux的硬盘识别: 一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘 设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.   1.关闭服务器加上新硬盘   2.启动服务器,以root用户登录   3.查看硬盘信息 #fdisk -l Disk /dev/sda: 42.9 GB, 42949672960 bytes 255 heads, 63 sectors/track, 5221 cylinders Units = cylinders of 1606

(一)问题: 最近在做Oracle数据清理,在对分区表进行数据清理时,采用的方法是drop partition,删除的过程中,没有遇到任何问题,大概过了10分钟,开发人员反馈部分分区表上的业务失败.具体错误为: ORA-01502错误:索引或这类索引的分区处于不可用状态(英文:ora-01502:index 'schema.index_name' or partition of such index is in unusable state). (二)原因分析 查看出现问题的分区表,均有一个共同

Hadoop 添加删除Slave @(Hadoop) 在hdfs-site.xml文件中添加如下配置: <property> <name>dfs.hosts</name> <value>/root/jiangyuande/hadoop/etc/hadoop/datanode-allow.list</value> </property> <property> <name>dfs.hosts.exclude<

Hive删除分区语句: alter table table_name drop if exists partition(dt=30301111)

一.批量添加分区:   use bigdata; alter table siebel_member add if not exists partition(dt='20180401') location '20180401' partition(dt='20180402') location '20180402' partition(dt='20180403') location '20180403' partition(dt='20180404') location '20180404';

Linux系统按照MBR(Master Boot Record)传统分区模式: 注意:传统的MBR(Master Boot Record)分区方式最大只能分2T容量的硬盘,超过2T的硬盘一般采用GPT(GUID Partition Table) 因为这一分区用4个字节描述 LBA,存储分区的总扇区数,最大能表示2的32次方的扇区个数(4294967295个),每扇区容量512字节,计算为4294967295*512/1024/1024/1024=2047.99999952316284179687

1.1.1         reduce端连接-分区分组聚合 reduce端连接则是利用了reduce的分区功能将stationid相同的分到同一个分区,在利用reduce的分组聚合功能,将同一个stationid的气象站数据和温度记录数据分为一组,reduce函数读取分组后的第一个记录(就是气象站的名称)与其他记录组合后输出,实现连接.例如连接下面气象站数据集和温度记录数据集.先用几条数据做分析说明,实际肯定不只这点数据. 气象站数据集,气象站id和名称数据表 StationId Statio

alter table 表 drop partition(分区); 例: 表是:  user_all_info 分区是 day_id,month_id 我要删除10月10号的数据 那么: alter table user_all_info drop partition(month_id='201610',day_id='20161010');

添加节点 1.修改host    和普通的datanode一样.添加namenode的ip 2.修改namenode的配置文件conf/slaves    添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker 4.均衡block [r

前提条件: 添加机器安装jdk等,最好把环境都搞成一样,示例可做相应改动 实现目的: 在hadoop集群中添加一个新增数据节点. 1. 创建目录和用户  mkdir -p /app/hadoop groupadd hadoop useradd licz -g hadoop -d /app/hadoop chown licz:hadoop /app/hadoop passwd licz 注:如果出现下面的问题 [root@dbserver22 ~]# su - licz-bash-3.2$ 解决办

mac 装了双系统,Mac OS X 分配的内存太少了,导致使用卡顿,要删掉windows系统. 在删除windows的时候出现  “您的磁盘不能恢复为单一的分区” 解决方案: 1.重启Mac,并按下command + s键,进入命令行模式 2.输入:fsck -f,进行磁盘检查 3.重新进入系统后,打开bootcamp助手,删除windows系统. 此随笔乃本人学习工作记录,如有疑问欢迎在下面评论,转载请标明出处. 如果对您有帮助请动动鼠标右下方给我来个赞,您的支持是我最大的动力.

1 创建表 hive命令行操作 CREATE TABLE IF NOT EXISTS emp( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING,FLOAT>, address STRUCT<street:STRING,city:STRING,province:STRING,zip:INT> ) PARTITIONED BY (province STRING,city