公司 Harbor 仓库一年多没清理,硬盘被堆满了,为此写了个批量清除的 Python 脚本. 源代码见 github-harbor_clean.py # coding: utf-8 from operator import itemgetter from urllib import parse import requests import datetime as dt # import maya import logging logging.basicConfig(filename='harb

前言 在jenkins CI/CD流水线中以自动打包并push镜像的方式运行了一段时间之后, docker registry中堆积的历史镜像数量极多,磁盘空间告急,为此,有必要定期做镜像的清理,并释放镜像占用的存储空间. 清除原理 Docker registry提供有restful api进行镜像管理,参考官方文档:https://docs.docker.com/registry/spec/api/ Docker存储使用的aufs文件系统分层存储结构,将容器文件以读写分层的形式存储在宿主机中.在

之前写过<搭建docker本地镜像仓库并提供权限校验及UI界面>文章,然后有同仁评论道这样做太复杂了,如果Harbor来搭建会更简单同时功能也更强大.于是抽时间研究了基于Harbor构建本地镜像仓库,感觉Harbor的确更简单同时功能更强大,再此感谢各位同仁的建议.下面将基于Harbor构建本地镜像仓库的步骤分享出来,再次欢迎各位同仁点评. 1.Harbor Harbor是VMware公司开源了企业级Registry项目, 其的目标是帮助用户迅速搭建一个企业级的Docker registry服

harbor仓库中镜像按tag清理,删除tag后需要清理gc才能释放空间 #!/bin/bash set -e HARBOR_URL=127.0.0.1 HARBOR_PASSWD=harbor123 OLD_VERSION_NUM= function get_repos_list(){ repos_list=$(curl -s -k -u admin:${HARBOR_PASSWD} http://${HARBOR_URL}/api/projects?page=1&page_size=50)

=============================================== 2019/3/31_第1次修改                       ccb_warlock =============================================== 由于通过jenkins生成的docker标记为lastest,故更新服务器拉取新镜像后,会出现多个已经不使用的旧镜像的标记为none. 通过手工清理这些镜像费时费力,故本记录使用定时脚本删除标记为none的镜

Harbor部署私有镜像仓库 认识: Harbor 是一个用于存储和分发 Docker 镜像的企业级 Registry 服务器. 部署环境: CentOS7 Python2.7.5 Docker CE18.09.6 Docker Compose1.32.2 Harbor1.7.1 安装: 安装组件 yum -y install wget python-devel libevent-devel epel-release python-pip gcc gcc-c++ xz-devel 安装Dcoke

目录 一.系统环境 二.前言 三.Harbor 四.使用harbor搭建私有镜像仓库 4.1 环境介绍 4.2 k8smaster节点安装配置harbor 4.2.1 安装harbor离线包 4.2.2 配置harbor用户信息,项目信息 4.3 k8sworker1节点配置从harbor私有仓库上传和拉取镜像 4.3.1 上传镜像到harbor私有仓库 4.3.2 从harbor私有仓库里拉取镜像 一.系统环境 服务器版本 docker软件版本 CPU架构 CentOS Linux relea

0x00 事件 Harbor 私有仓库中占有的存储慢慢越来越大,使用官方的清理工具以及 UI 上的垃圾清理,都似乎也不能清理掉-- 后来吾用了一种简单粗暴的方法清理镜像--删除 harbor registry 0x01 处理 此方法只会删除掉仓库内的所有镜像,不会删除在 Harbor UI 上看到的项目以及镜像名称,所以只要再构建镜像上传回来私有仓库,就能正常使用. 这需要考虑应用场景,如私有仓库内的镜像都可以不保留(反正需要更新),那么可以使用吾这种粗暴的方法. 1.删除 harbor reg

0.harbor界面端清理镜像 1.停止docker harbor docker-compose stop 2.预览运行效果 docker run -it --name gc --rm --volumes-from registry vmware/registry:2.6.2-photon garbage-collect --dry-run /etc/registry/config.yml 3.执行删除 docker run -it --name gc --rm --volumes-from r

本次分享主要讲述了在开发运维中的管理容器镜像方法.为了便于说明原理,较多地使用Harbor作为例子. 内容主要包括: 开发和生产环境中镜像仓库的权限控制: 镜像远程同步(复制)的原理: 大规模应用镜像发布方式: 镜像删除和空间回收: Registry高可用性设计. 首先简单介绍一下Harbor项目.Harbor是由VMware中国研发团队负责开发的开源企业级Registry,可帮助用户迅速搭建企业级的Registry服务.该项目发布5多个月以来,深受用户喜爱,在GitHub获得了近1000个点赞

一 说明 这个是我第一篇博客,所以我想放上原创的东西,尽管我一直都很担心自己写得太low,但是总要学会尝试,学会改变自己,相信自己.在写这个脚本时,由于我接触LInux不是很多,能力有限,仅仅是为了让自己心情好点,可以说只是为了完成任务,并没有考虑其中比如代码重复,注释不完整等诸多问题.这是9月份做的事情了,因为各种原因,后续也没去关注脚本中问题.请多多包含. 二 背景 公司最近在搞关于k8s的东西,我也跟着参与进去了.在学习和使用了一段时间之后,发现Habor中的镜像越来越多,因为我们是采用以

1 说明 Maven插件Jib暂不支持https的自签名,因此只能配置以Http的方式访问Harbor私有仓库 以下基于SpringBoot2.x进行配置 2 Maven配置 2.1 pom.xml中配置 项目的pom.xml中添加以下属性和插件内容: <properties> <app.main.class>cc.anxminise.spblearn.Application</app.main.class> <docker.image.prefix>192

在harbor服务器 1. 下载测试上传使用的镜像docker pull hello-world2. 打tagdocker tag docker.io/hello-world:latest 172.19.68.11:5000/batman/hello-world:latest3. 上传docker push 172.19.68.11:5000/batman/hello-world:latest 上传结果 [root@izuf66p8tou7n3ktvgnu8pz docker]# docker

工作中遇到一个问题,要把某个项目的harbor镜像库全部迁移到其他环境的harbor上,由于网络不通,只能导出来,传给同事,让同事导入到他们的harbor上: 记录下我的操作方法. 参考博客园的一篇博客,Harbor API操作: 1.批量导出harbor某个项目的镜像库 ## 查到harbor的项目编号 curl -X GET --header 'Accept: application/json' 'http://192.168.10.16/api/search?q=paas-k8s' #!/

Ubuntu彻底清除history命令历史记录 https://blog.csdn.net/u013554213/article/details/84954062 centos 可以使用这个命令 清理掉 记录的命令 但是发现 ubuntu 就不可以 必须删除 用户 home 路径下面的 .bash_history 文件才可以, 简单记录一下 以后用. 我这边是ubuntu 18.04.1 在Linux系统的终端中,通常会保存一些敏感的命令记录,使用 history -c 命令行清除历史命令记录.

下载镜像并给镜像打tag [root@hdss7-200 harbor]# docker pull nginx:1.7.9 [root@hdss7-200 harbor]# docker images |grep 1.7.9 [root@hdss7-200 harbor]# docker tag 84581e99d807 harbor的ip/public/nginx:v1.7.9 登录harbor并上传到仓库 [root@hdss7-200 harbor]# docker login harbo

痛点分析: 当我们每次执行完用例的时候,如果出现bug或者是测试脚本出了问题,一般会通过测试报告.异常截图.日志来定位分析,但是我们发现运行次数多了之后,异常截图和测试报告会不停地增多,对我们定位分析问题时造成了一定的困扰,因此我们希望每次执行用例前都提前清理掉对应目录下的文件 解决方法: 1.对于allure目录下的文件,因为名称和文件格式都不同,所以不能进行分类删除,因此我们要引入shutil模块 import shutil 使用shutil.rmtree(path)方法删除path下的所有

使用 CI 一段时间后,artifacts 占用的磁盘会很大,可以配置保留多少天的 artifacts,具体如下: Administration Click the Edit link for any of your branches or <root project>* Clean-up rules on left hand menu Under What to clean-up choose the Edit link. Under the Artifacts section, put a

方式一:定义CronTriggeringPolicy <?xml version="1.0" encoding="UTF-8"?> <Configuration status="warn" name="MyApp" packages=""> <Properties> <Property name="baseDir">logs</Pro

目录 清理UI中的镜像 清理镜像释放空间 docker镜像仓库中镜像的清理,一直是个比较麻烦的事情.尤其是在测试环境当中,每天都会有大量的构建.由此会产生大量的历史镜像,而这些镜像,大多数都没有用. 在harbor中,清理镜像,也得分为两步,第一步是从ui中删除历史镜像.这个时候镜像并不会被真正删除,好在harbor集成了镜像删除的功能. 废话不多说,直接给操作. 清理UI中的镜像 清理ui中的镜像,如果直接通过图形界面一个个的点击删除的话,在有大规模镜像需要清理的时候,简直就是灾难,而且这种方