最初使用的阿里云云盘只有50G

正常运行的hadoop集群突然无法正常运行了,web页面显示节点为UNHEALTHY

使用df -m命令,发现一些节点磁盘空间占用达到了99%,因此要扩容磁盘空间

1.为云盘建立快照,以防出错

2.磁盘扩容

3.选择扩容容量,选在线扩容,付费

4.如果是centos7

此处以CentOS 7操作系统为例演示分区扩展的步骤。

  1. 运行fdisk -l命令查看现有云盘大小。

    以下示例返回云盘(/dev/vda)容量是100GiB。

     
    [root@ecshost ~]# fdisk -l
    Disk /dev/vda: 107.4 GB, 107374182400 bytes, 209715200 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk label type: dos
    Disk identifier: 0x0008d73a Device Boot Start End Blocks Id System
    /dev/vda1 * 2048 41943039 20970496 83 Linux
  2. 运行df -h命令查看云盘分区大小。
    以下示例返回分区(/dev/vda1)容量是20GiB。

     
    [root@ecshost ~]# df -h
    Filesystem Size Used Avail Use% Mounted on
    /dev/vda1 20G 1.5G 18G 8% /
    devtmpfs 7.8G 0 7.8G 0% /dev
    tmpfs 7.8G 0 7.8G 0% /dev/shm
    tmpfs 7.8G 344K 7.8G 1% /run
    tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup
    tmpfs 1.6G 0 1.6G 0% /run/user/0
  3. 运行growpart <DeviceName> <PartionNumber>命令调用growpart为需要扩容的云盘和对应的第几个分区扩容。
    示例命令表示为系统盘的第一个分区扩容。

     
    [root@ecshost ~]# growpart /dev/vda 1
    CHANGED: partition=1 start=2048 old: size=41940992 end=41943040 new: size=209710462,end=209712510

    若运行命令后报以下错误,您可以运行LANG=en_US.UTF-8切换ECS实例的字符编码类型。

     
    [root@ecshost ~]# growpart /dev/vda 1
    unexpected output in sfdisk --version [sfdisk,来自 util-linux 2.23.2]
    [root@ecshost ~]# LANG=en_US.UTF-8
  4. 运行resize2fs <PartitionName>命令调用resize2fs扩容文件系统。
    示例命令表示为扩容系统盘的/dev/vda1分区文件系统。

     
    [root@ecshost ~]# resize2fs /dev/vda1
    resize2fs 1.42.9 (28-Dec-2013)
    Filesystem at /dev/vda1 is mounted on /; on-line resizing required
    old_desc_blocks = 2, new_desc_blocks = 7
    The filesystem on /dev/vda1 is now 26213807 blocks long.
     
    说明 如果您使用的是xfs文件系统,运行xfs_growfs /dev/vda1命令扩容文件系统。
  5. 运行df -h命令查看云盘分区大小。
    返回分区(/dev/vda1)容量是100GiB,表示已经成功扩容。

     
    [root@ecshost ~]# df -h
    Filesystem Size Used Avail Use% Mounted on
    /dev/vda1 99G 1.6G 93G 2% /
    devtmpfs 7.8G 0 7.8G 0% /dev
    tmpfs 7.8G 0 7.8G 0% /dev/shm
    tmpfs 7.8G 500K 7.8G 1% /run
    tmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup
    tmpfs 1.6G 0 1.6G 0% /run/user/0

5.如果是centos6或更低

此处以CentOS 6操作系统为例演示分区扩展的步骤。

  1. 安装dracut-modules-growroot工具。

     
    [root@ecshost ~]# yum install -y dracut-modules-growroot

    如果您使用的是其他软件包管理器,请将yum修改为对应的命令。

  2. 覆盖已有的initramfs文件。
     
    [root@ecshost ~]# dracut -f
  3. 运行fdisk -l命令查看现有云盘大小。
    以下示例返回云盘(/dev/vda1)容量是100GiB。

     
    [root@ecshost ~]# fdisk -l
    Disk /dev/vda: 107.4 GB, 107374182400 bytes
    255 heads, 63 sectors/track, 13054 cylinders
    Units = cylinders of 16065 * 512 = 8225280 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x0003a7b4 Device Boot Start End Blocks Id System
    /dev/vda1 * 1 2611 20970496 83 Linux
  4. 运行df -h命令查看云盘分区大小。
    以下示例返回分区(/dev/vda1)容量是20GiB。

     
    [root@ecshost ~]# df -h
    Filesystem Size Used Avail Use% Mounted on
    /dev/vda1 20G 1.1G 18G 6% /
    tmpfs 7.8G 0 7.8G 0% /dev/shm
  5. 运行growpart <DeviceName><PartionNumber>命令调用growpart为需要扩容的云盘和对应的第几个分区扩容。
    示例命令表示为系统盘的第一个分区扩容。

     
    [root@ecshost ~]# growpart /dev/vda 1
    CHANGED: partition=1 start=2048 old: size=41940992 end=41943040 new: size=209710462,end=209712510
  6. 在控制台重启实例或者调用API RebootInstance。详细步骤请参见重启实例RebootInstance
  7. 再次远程连接实例。
  8. 运行resize2fs <PartitionName>命令调用resize2fs扩容文件系统。
    示例命令表示为扩容系统盘的/dev/vda1分区文件系统。

     
    [root@ecshost ~]# resize2fs /dev/vda1
    resize2fs 1.41.12 (17-May-2010)
    Filesystem at /dev/vda1 is mounted on /; on-line resizing required
    old desc_blocks = 2, new_desc_blocks = 7
    Performing an on-line resize of /dev/vda1 to 26213807 (4k) blocks.
    The filesystem on /dev/vda1 is now 26213807 blocks long.
     
    说明 如果您使用的是xfs文件系统,运行xfs_growfs /dev/vda1命令扩容文件系统。
  9. 运行df -h命令查看云盘分区大小。
    返回分区(/dev/vda1)容量是100GiB,表示已经成功扩容。

     
    [root@ecshost ~]# df -h
    Filesystem Size Used Avail Use% Mounted on
    /dev/vda1 99G 1.1G 93G 2% /
    tmpfs 7.8G 0 7.8G 0% /dev/shm

由于阿里云磁盘空间导致hadoop的yarn节点处于UNHEALTHY状态的更多相关文章

  1. 阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...

  2. 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  3. 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  4. 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 阿里云ECS服务器部署HADOOP集群(六):Flume 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  6. 阿里云ECS服务器部署HADOOP集群(七):Sqoop 安装

    本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...

  7. 阿里云ECS服务器部署HADOOP集群(五):Pig 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  8. 阿里云端口失效导致tomcat无法对外提供服务

    下午,我们一个环境启动成功,但是却无法访问,经查看启动日志,如下: Mar 23, 2017 2:15:09 PM org.apache.coyote.http11.AbstractHttp11Pro ...

  9. 阿里云搭建hadoop集群服务器,内网、外网访问问题(详解。。。)

    这个问题花费了我将近两天的时间,经过多次试错和尝试,现在想分享给大家来解决此问题避免大家入坑,以前都是在局域网上搭建的hadoop集群,并且是局域网访问的,没遇见此问题. 因为阿里云上搭建的hadoo ...

随机推荐

  1. SpringBoot---缓存支持Cache

    1.概述 1.1.在  Spring中使用缓存技术   的  关键   是配置CacheManager: SpringBoot为我们   自动配置了多个  CacheManager实现: Spring ...

  2. hdu 4619 Warm up 2 (二分匹配)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4619 题意: 平面上有一些1×2的骨牌,每张骨牌要么水平放置,要么竖直放置,并且保证同方向放置的骨牌不 ...

  3. vue.js 导出JSON

    cnpm install file-saver --save <template> <div class="hello"> <button @clic ...

  4. flask02

    -web框架 -从浏览器输入一个地址,发送请求,经历了哪些过程 -反向代理,正向代理 -正向代理代理客户 -反向代理代理服务器-你用过的python中的魔法方法:https://www.cnblogs ...

  5. shell脚本学习(3)sed替换

    1 sed 替换   1格式: 's/原字符串/新字符串/'   输入源   2正确参考: sed ’s/as/AS/' do.txt 改变字符串as为AS,不会改输入源的文件. 匹配每行第一次匹配的 ...

  6. http 换成 https

    UPDATE SYS_MENU M SET M.href = ( SELECT CASE WHEN substr(N.href, 0, 5) = 'http:' THEN 'https:'||subs ...

  7. vue循环渲染变量类样式

    由于需求的需要,将五种不同的颜色样式通过v-for进行遍历渲染,所以我这里采用绑定类函数进行判断方式.代码: 效果: 灵感来自:https://www.jianshu.com/p/33e181be3d ...

  8. HTTP协议之-URL

    一.URL url统一资源定位符 1.URL格式: 方案.就是指所使用的协议,类似http:// 服务器的地址,类似i.cnblogs.com/ 制定web服务器的某个资源路径 方案://服务器位置/ ...

  9. identityserver4踩坑总结

    1.在配置id4服务端的时候要注意client里面的 AllowedScopes开放的值要和GetIdentityResources中加入的值是一样的,不然调用以后报{"error" ...

  10. nRF51822 蓝牙低功耗和 2.4GHz 专利 SoC

    DESCRIPTION nRF51822 是功能强大.高灵活性的多协议 SoC,非常适用于 Bluetooth® 低功耗和 2.4GHz 超低功耗无线应用. nRF51822 基于配备 256kB f ...