公司 Harbor 仓库一年多没清理,硬盘被堆满了,为此写了个批量清除的 Python 脚本. 源代码见 github-harbor_clean.py # coding: utf-8 from operator import itemgetter from urllib import parse import requests import datetime as dt # import maya import logging logging.basicConfig(filename='harb

目录 清理UI中的镜像 清理镜像释放空间 docker镜像仓库中镜像的清理,一直是个比较麻烦的事情.尤其是在测试环境当中,每天都会有大量的构建.由此会产生大量的历史镜像,而这些镜像,大多数都没有用. 在harbor中,清理镜像,也得分为两步,第一步是从ui中删除历史镜像.这个时候镜像并不会被真正删除,好在harbor集成了镜像删除的功能. 废话不多说,直接给操作. 清理UI中的镜像 清理ui中的镜像,如果直接通过图形界面一个个的点击删除的话,在有大规模镜像需要清理的时候,简直就是灾难,而且这种方

harbor定时清理镜像 ​ 分享下最近写harbor仓库镜像自动清理脚本思路,很长时间不写shell脚本,这次的脚本也是匆匆写的,还有很多可优化点,感兴趣的可以参考自己优化下,写的不完善地方也希望指出. ​ 说下harbor仓库清理的思路,其实思路也比较简单,就是找到要清除的镜像地址,根据自己需要对时间排序清除不需要的就行.那么关键点来了,如何有效找出需清除的镜像和时间tag关联起来呢这是问题的核心,在写脚本前也参考了网上他人的脚本,大部分人都是通过python实现的,用shell实现的也无法

最近,公司的技术平台,运维的破事儿颇多.Jira无法访问,ES堆内存不足,Jenkins频繁不工作..等等等,让我这个刚入门的小兵抓心脑肝,夜不能寐,关键时刻方恨经验薄弱呀!!一波未平,一波又起,这不,Harbor镜像库又无法访问了.查了下磁盘,发现/data目录已经占用了99%,这还怎么愉快的工作了.搞他就是了! 使用Harbor API删除镜像 网上找了太多的文章都是通过Python或者shell脚本写的,因为自身没弄过python,shell脚本也不熟,而且大多不符合我的特殊需求.所以我打

 在Linux主机使用命令行批量删除harbor镜像 脚本使用说明: 此脚本不是万能脚本,根据自身环境要调整很多 能用harbor的域名就不要用IP 脚本前半部分可以套用,后半部分需一步一步试错,结合自己的环境 参考文档为:https://www.cnblogs.com/xiyangxixi/p/10126106.html 感谢原文作者贡献 #! /bin/bash # 通过Harbor提供的API来批量删除镜像,人工删除费时费力 # 经过测试发现,通过接口去删除时提供的是的标签,但实际上删除的

1. 在线垃圾清理 注意:从Harbor中删除镜像时不释放空间,垃圾收集是通过从清单中不再引用文件系统中删除blob来释放空间的任务. 注意:在执行垃圾收集时,Harbor将进入只读模式,并且禁止对docker注册表进行任何修改. 垃圾清理定时任务: 1.无 2.每天 3.每周 4.每小时 5.自定义 history 显示垃圾回收记录 离线-Harbor镜像删除空间回收 Harbor私有仓库运行一段时间后,仓库中存有大量镜像,会占用太多的存储空间.直接通过Harbor界面删除相关镜像,并不会自动

harbor镜像仓库-02-https访问配置 harbordockerhttps harbor搭建部署参考上一章节 harbor镜像仓库-01-搭建部署 Harbor默认使用http,给harbor配置上https,需要用到证书,这里我们使用自签证书,来进行配置 1. 证书的生成 在测试或开发环境中,您可以选择使用自签名证书,而不是来自受信任的第三方CA的证书. 以下内容将向您展示如何创建自己的CA,并使用您的CA签署服务器证书和客户端证书. 1.1 生成ca证书 [root@docker ~

harbor镜像仓库-01-搭建部署 dockerregistryharbor安装部署docker-compose harbor的https配置参考另一章节harbor镜像仓库-02-https访问配置 1. 安装docker和docker-compse 已安装的检查版本后跳过这一步 系统要求 docker 17.03.0-ce + docker-compose 1.10.0+ 1.1 安装docker ###### 1.1.1 下载并安装阿里的docker-ce的yum仓库 wget -O /

不知道大家那有没有要清理的这个事情.需要清理目录历史文件.可能后续也会有很多其他地方需要清理历史文件,可能会用到. 我这两天空闲写了个脚本,清理比较方便,有要进行清理的大量历史文件的话可以用. 脚本用到的命令只有linux才有,像solaris等就不支持,所以只能在linux上运行.如果是nas存储的话,可以挂载到一个linux主机上跑脚本清理. 另外,脚本查找文件用的是ls,但是ls也有最大文件的限度(大概10w以内),如果每天文件很多,每天都是10w+的,运行可能提示文件数过多无法ls. 还

Harbor镜像漏洞扫描 闲聊:我们知道 镜像安全也是容器化建设中一个很重要的环节,像一些商业软件如:Aqua就很专业但是收费也是很昂贵的,今天我们介绍下Harbor自带的镜像扫描器. 一.安装最新版本的harbor wget https://github.com/goharbor/harbor/releases/download/v1.10.1/harbor-offline-installer-v1.10.1.tgz tar -xf harbor-offline-installer-v1.10

elastic索引日志清理不及时,很容易产生磁盘紧张,官网给出curl -k -XDELETE可以清理不需要的索引日志. 清理脚本 #!/bin/bash #Author: 648403020@qq.com #date: 2019.03.28 # 需要清理几天以前的索引日志 CLEAN_DAY=7 # 获取N天以前的年月日 YEAR=$(date -d "$(date -I) -$CLEAN_DAY"day"" +%Y) MONTH=$(date -d "

Harbor镜像仓库 作者 刘畅 时间 2020-7-11 微信 目录 1.下载离线安装包 1 2.安装docker 1 3.安装docker-compose 2 4.自签TLS证书 2 4.1.创建自己的CA证书 2 4.2.生成证书签名请求 3 4.3.生成注册表主机的证书 4 5.Harbor安装与配置 4 6.Docker主机访问Harbor 5 6.1.通过浏览器访问harbor 5 6.2.新建用户 8 6.3.新建项目 10 6.4.在test项目中添加用户 12 6.5.linu

#! /bin/bash # 通过Harbor提供的API来批量删除镜像,人工删除费时费力 # 经过测试发现,通过接口去删除时提供的是的标签,但实际上删除的时候通过的是镜像的IMAGE_ID,也就是说 # 如果我把同一个镜像tag多次上传到harbor,通过借口删除时,只需要提供其中一个标签,那么和这个镜像的IMAGE_ID相同的镜像都会删除 #### 项目个数 lines=`curl -s -u "admin:Harbor12345" -X GET -H "Content-

目录 背景说明 方案实现 背景说明 在早期生产环境尝试使用docker的时候,虽然使用了harbor作为镜像仓库,但是并没有做好相关存储规划,所有的镜像都直接存储到了harbor本地.随着业务发展,本地存储已无法满足镜像存储需求. 解决方案有两种: 使用共享文件系统存储,比如glusterfs,直接挂载本地的harbor存储目录当中.在此之前,只需要先把harbor本地目录中的文件拷贝到glusterfs当中即可. 部署一套新的harbor,直接使用共享存储作为镜像后端存储.将现有harbor中

Harbor是一个企业级的镜像管理仓库,是VMware主导的一个开源项目(github地址:https://github.com/vmware/harbor). Harbor提供了以下功能特性: Cloud native registry: With support for both container images and Helm charts, Harbor serves as registry for cloud native environments like container ru

hive在运行过程中,我们经常会发现 hdfs /tmp/hive/hive or hdfs 目录占用空间巨大,我这里已经清理过了所以,相对较小.但是初次使用hive的用户,一定会发现 随着时间的推移,/tmp/hive 目录一定会变的越来越庞大,这主要是hive在运行过程中会生产大量的中间会话在/tmp目录下,如果hive正常运行结束,临时会话会被自动清理掉, 但是如果中间出现hive中断,或者异常退出,这些中间会话就会一直保存在hdfs上,久而久之,越来越多,造成大量无用的积压文件.必须手动

#!/bin/bash # # Copyright IBM Corp. All Rights Reserved. # # SPDX-License-Identifier: Apache-2.0 # export VERSION=-beta export ARCH=$(echo "$(uname -s|tr '[:upper:]' '[:lower:]'|sed 's/mingw64_nt.*/windows/')-$(uname -m | sed 's/x86_64/amd64/g')"

一. 简介 linux是一个很能自动产生文件的系统,日志.邮件.备份等.虽然现在硬盘廉价,我们可以有很多硬盘空间供这些文件浪费,让系统定时清理一些不需要的文件很有一种爽快的事情.不用你去每天惦记着是否需要清理日志,不用每天收到硬盘空间不足的报警短信,想好好休息的话,让我们把这个事情交给机器定时去执行吧. 二. 分析日志 查看日志路径和日志命名规则: 要清理这个目录下面如此命名规则的日志. 三.方法 这时我想的肯定是希望能写一个脚本把这些日志清除掉,但不是删除掉.那么现在需要实现3步: 1.找到所

2019-03-14 搭建好docker仓库harbor之后,在服务器上获取harbor的所有镜像列表命令 curl -u "harbor账号:密码" -X GET -H "Content-Type: application/json" "https://IP/api/search?" --insecure 注意:harbor使用自签证书时,需要加上--insecure参数,不然会获取不到列表,且会报错 不加--insecure参数报错信息: [

关于Harbor Harbor是用于存储和分发Docker镜像的镜像仓库服务,相比Docker Registry,Harbor在安全.标识.管理等方面做了增强,更适合企业使用: 官方网站:https://goharbor.io/ 官方开源:https://github.com/goharbor/harbor 环境信息 今天要部署的Harbor版本是1.9.0,本次部署用的机器信息如下: 操作系统:CentOS Linux release 7.7.1908 Docker:19.03.2 docke