Coding ---> gitlab  --->jenkins ---> maven(nexus) ---> 编译构建成image ---> Harbor --->> 实际运行机器 run (pull 镜像下载运行) nginx 做反代 (比如jenkins的在192.168.100.151 ,8080端口) 访问 jenkins.ibm.com 通过域名反代到192.168.100.151:8080 jenkins 配置好工具(JDK,Maven,android…

请移步 基于Gogs+Drone搭建的私有CI/CD平台…

搭建平台目的: k8s中搭建jenkins master/slave架构,解决单jenkins执行效率低,资源不足等问题(jenkins master 调度任务到 slave上,并发执行任务,提升任务执行的效率) CI/CD环境特点: Slave弹性伸缩 基于镜像隔离构建环境 流水线发布,易维护 一.环境准备 服务名 地址 版本 k8s-master 10.48.14.100 v1.22.3 k8s-node1 10.48.14.50 v1.22.3 k8s-node2 10.48.14.51…

Hadoop搭建过程 前期环境搭建主要分为软件的安装与配置文件的配置,集成的东西越多,配置项也就越复杂. Hadoop集成了一个动物园,所以配置项也比较多,且每个版本之间会有少许差异. 安装的方式有很多,各个版本lunix源的配置也不同,我才用的是直接下载tar包进行安装,这样的好处是版本容易控制. 下载软件: 官网下载时会标明相匹配的版本: 1.hadoop本体2.8.0 2.Scala,spark的原生语言,依赖于此环境 3.Spark,spark依赖hadoop的组件(忘了,单跑也可以)…

Gogs 是由 Go 语言编写的 Git 服务器,由中国人主导开发的一款开源项目,搭建方便并且拥有完善的中文文档,配合 Drone 可以实现持续集成/持续部署.本文介绍如何通过 Docker 搭建 Gogs+Drone 环境. 环境 MacOS Docker && docker-compose 部署 1. 创建目录(不是必须的,可以放在任何目录里面) mkdir cicd cd cicd mkdir gogs drone # 存放相关数据 2. 编写 docker-compose.yaml…

1 环境说明: 本机ip 192.168.8.3 虚拟机1 ip 192.168.8.5 虚拟机2 ip 192.168.8.6 虚拟机采取桥接模式 虚拟机系统为CentOS 2.6.32-279.el6.i686 java版本 1.6.0-24 mysql版本 5.1.61-log 2 虚拟机8.5搭建otter 2.0配置固定ip和修改host 2.0.1 虚拟机8.5 ip为192.168.8.5 vi /etc/syscnfig/network-script/ifcfg-eth0 DEV…

Springcloud的搭建主要包括三个部分:服务注册中心.服务提供者.服务消费者.每一个部分都是一个springboot项目,它们通过配置文件(application.properties或application.yml)关联在一起. 一.创建服务注册中心 1. 按照如下过程依次操作 2. 在application.properties中填写如下内容,声明本服务是一个注册中心 server.port:7770 eureka.instance.hostname:localhost #一下两行表明…

软件环境:Jenkins + Kubernetes + Git + Maven + Harbor 发布流程设计 工作流程:手动/自动构建-> Jenkins 调度K8S API->动态生成Jenkins Slave pod ->Slave pod 拉取Git 代码/编译/打包镜像->推送到镜像仓库Harbor ->Slave 工作完成,Pod 自动销毁->部署到测试或生产Kubernetes平台. 环境准备: 准备K8S.Ingress和PV自动供给(NFS), 部署h…

Eolink 前端负责人黎芷君进行了<工程化- CI / CD>的主题演讲,围绕 CI/CD 管道安全的实践,分享自己在搭建 CI/CD 管道过程中所总结的重要经验,与开发者深入讨论 "前后端" 那些事儿. 随着互联网越来越受重视,前端开发不再是简单的实现一个界面,使用 Javascript 让页面有一定的交互特效. 在同一个时期的迭代里,我们可能需要同时开发浏览器应用.桌面端,甚至是 App.小程序等等.导致了我们迫切的需要考虑一种新的方式,优化我们前端的开发工作.而 C…

1 - CI与CD的联系与区别 持续集成(Continuous Integration).持续交付(Continuous Delivery)和持续部署(Continuous Deployment)的过程,其实就是一个软件开发优化的过程. 统一流程:自动化地触发编译.集成.测试.交付和部署 保证集成的有序性.可靠性,减少版本发布的不合规性,避免手工打包.测试不充分等 版本可控,问题可追溯:可以回溯到具体版本 三者有着不同的目的 持续集成的目的是尽早发现问题 持续交付的目的是实现快速发布 持续部署的…

最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 四.启动YARN 五.web查看 一.前言 1.开始搭建前上官网看了一下,发现最新版本是3.0,但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题,所以决定使用了2.7.3,hadoop2的最新版本,至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理(实验证明最新版本的hba…

在2018年年初,Jenkins X首次发布,它由Apache Groovy语言的创建者Jame Strachan创建.Jenkins X 是一个高度集成化的 CI/CD 平台,基于 Jenkins 和 Kubernetes 实现,旨在解决微服务体系架构下的云原生应用的持续交付的问题,简化整个云原生应用的开发.运行和部署过程.仅需一条Jenkins X命令,管理员可以创建一个Kubernetes集群,并安装用于管理应用程序.创建流水线并部署一个应用程序到不同的环境中的工具. Jenkin X还是…

jenkins CI/CD(动态创建slave)简述: 由于之前管理kubernetes集群应用发布,用的是Gitlab-CI,用作开发环境管理还可以,生产环境管理发布,缺点太多,打包速度很慢.研究新的管理发布工具jenkins x Jenkins X 是一个高度集成化的 CI/CD 平台,基于 Jenkins 和 Kubernetes 实现,旨在解决微服务体系架构下的云原生应用的持续交付的问题,简化整个云原生应用的开发.运行和部署过程. jenkins x基本架构图: 从图上可以看到 Jenk…

线下AWD平台搭建以及一些相关问题解决 一.前言 文章首发于tools,因为发现了一些新问题但是没法改,所以在博客进行补充. 因为很多人可能没有机会参加线下的AWD比赛,导致缺乏这方面经验,比如我参加过五次线下AWD攻防,虽然看过许多网上的AWD打发套路,但终究都是纸上谈兵,所以前几次都是被吊锤,一来不熟悉环境,二来有点手忙脚乱,其实根本原因就是缺乏经验,因此最近翻了翻Github,终于找到一个不错的项目,下面便是搭建过程和一些注意事项. 二.平台搭建过程: 准备工作:需要准备一台Ubuntu虚…

本周四晚上8:30,第二期k3s在线培训如约开播!本期课程将介绍k3s的核心架构,如高可用架构以及containerd.一起来进阶探索k3s吧! 报名及观看链接:http://z-mz.cn/PmwZ 本文来自Rancher Labs 在云原生领域中,Kubernetes累积了大量用例.它能够在云中部署应用容器.安排批处理job.处理工作负载以及执行逐步升级.Kubernetes使用高效的编排算法来处理这些操作,即便是大规模集群这些算法依旧表现良好. 此外,Kubernetes主要用例之一是运行…

背景知识 通过以往几节课程的学习,相信大家对于 SAE 平台已经有了一定的了解.SAE 为客户免除了很多复杂的运维工作,开箱即用.按用量付费:与此同时 SAE 提供了丰富的 Open API,可以很容易地与其他平台做集成:类似云效以及 Jenkins 的 CI/CD 工具是敏捷软件研发实践中的重要一环,可以自动化地将客户的代码编译.测试.打包并部署至各个环境,从而提升团队的研发效率. 本篇文章分为两个部分,首先介绍使用云效平台实现从源码到 SAE 环境的持续集成,然后介绍使用 Jenkins 的…

前言 Gitea 是一个用于代码托管的轻量级单体程序,它能与现有的经典应用集成,诸如代码分析工具 SonarQube.持续集成工具 Drone.Jenkins 以及用于工单管理的客户端插件(VSCode.Jenkins IDE). 不久之后,Gitea 也将迎来自身集成的一体化 CI/CD 功能. 今天要介绍的是 Gitea 与 Jenkins CI/CD 的集成. 关于 Jenkins Jenkins 是一款开源的.提供友好操作界面的持续集成(CI)工具,在国内外都有众多的使用者.Jenkin…

前言:本系列博客又更新了,是博主研究很长时间,亲自动手实践过后的心得,k8s集群是购买了5台阿里云服务器部署的,这个集群差不多搞了一周时间,关于k8s的知识点,我也是刚入门,这方面的知识建议参考博客园大神edisonchou的系列文章<.NET Core on K8S学习实践系列文章索引(Draft版)>,为什么我要写该系列的文章,是因为我之前 工作的几家公司应用都已经容器化了,.net framework 应用也在慢慢迁移到.net core 上,.net core 从1.0就开始使用了,作…

前言 网上大多数都是针对主流的Spring Cloud.NET Core的CI/CD方案.但是目前国内绝大部分的公司因为一些历史原因无法简单的把项目从NET Framework切换升级到NET Core,又急切的需要引入CI/CD流程来提高开发体验和效率.因此,本系列博客针对这一问题,旨在解决NET Framework的持续集成难题. 面临的难题 项目结构复杂,且源代码工程结构多为一个解决方案多个项目的模式 构建比较困难,有一些项目的包管理还是以文件路径的引用方式 前后端未完全分离,目前很多公司…

前言 网上大多数都是针对主流的Spring Cloud.NET Core的CI/CD方案.但是目前国内绝大部分的公司因为一些历史原因无法简单的把项目从NET Framework切换升级到NET Core,又急切的需要引入CI/CD流程来提高开发体验和效率.因此,本系列博客针对这一问题,旨在解决NET Framework的持续集成难题. 面临的难题 项目结构复杂,且源代码工程结构多为一个解决方案多个项目的模式 构建比较困难,有一些项目的包管理还是以文件路径的引用方式 前后端未完全分离,目前很多公司…

1. CI/CD 1.1 CI - 持续集成 持续集成( Continuous integration , 简称 CI )指的是,频繁地(一天多次)将代码集成到主干.持续集成的目的就是让产品可以快速迭代,同时还能保持高质量.它的核心措施是代码集成到主干之前,必须通过自动化测试.只要有一个测试用例失败,就不能集成.通过持续集成团队可以快速的从一个功能到另一个功能,简而言之,敏捷软件开发很大一部分都要归功于持续集成. 持续集成的组成要素 一个自动构建过程, 从检出代码. 编译构建. 运行测试. 结果…

Drone 是一个使用 Go 语言编写的自助式的持续集成平台,和 Gitea 一样可以完全基于容器部署,轻松扩展流水线规模.开发者只需要将持续集成过程通过简单的 YAML 语法写入 Gitea 仓库目录下的描述文件 .drone.yml 就可以完成 CI/CD 配置. 下面,我们以 gitea.com 服务器为例,搭建一套使用 Gitea 与 Drone 的 CI/CD 系统. 系统结构 Drone 由两部分构成: Server 负责任务调度 Runner 执行 Pipeline 的具体任务 用…

一.简介 微服务开发中自动化.持续化工程十分重要,在成熟的CI/CD环境中项目团队可以灵活分配,大大提供团队效率.如果还不了解什么是CI/CD,可以先查看相关文章,这里主要介绍环境的搭建,相关原理就不过多搬书了. 二.开始搭建 准备 目前主流的ci/cd环境都是基于容器化管理的,所以想要搭建这一环境必须熟练docker操作.版本控制选择git,构建工具选择Jenkins,所以开始前需要先掌握这些技术. Step1:安装docker Ubuntu 18.04 docker安装 docker安装方式…

庐山真面目之十一微服务架构手把手教你搭建基于Jenkins的企业级CI/CD环境 一.介绍 说起微服务架构来,有一个环节是少不了的,那就是CI/CD持续集成的环境.当然,搭建CI/CD环境的工具很多,但是有一个工具它却是出类拔萃,是搭建持续集成环境的首选,它就是Jenkins.在这里,有关Jenkins的具体内容我就不说了,网上有很多,我在这里只做很简单的介绍.Jenkins 自动化部署可以解决集成.测试.部署等重复性的工作,工具集成的效率明显高于人工操作:并且持续集成可以更早的获取代码变更的信…

CI/CD[持续化集成/持续化交付] docker搭建Gitlab环境 1.查询并拉取gitlab镜像 docker search gitlab docker pull gitlab/gitlab-ce:latest 2.启动容器 创建gitlab目录 启动之前,分别在gitlab目录下创建config.logs.data三个目录,分别用于挂载容器内不同文件 启动命令 docker run --detach \ --publish : --publish : --publish : \ --na…

一.各个组件的功能描述: Docker 是一个开源的应用容器引擎. Jenkis 是一个开源自动化服务器. (1).负责监控gitlab代码.gitlab中配置文件的变动: (2).负责执行镜像文件的构建.上传与下载; (3).通过Rancher插件系统构建stack/service; GitLab: 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具. (1).保存项目配置文件; (2).nginx定制配置文件; (3).Dockerfile文件; Harbor:开源的docker镜…

前言 Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的.这三个产品被设计成一个集成解决方案,称为“Elastic Stack”(以前称为“ELK stack”) 轻量型日志采集器Filebeat (https://www.elastic.co/cn/beats/filebeat) 当您要面对成百上千.甚至成千上万的服务器.虚拟机和容器生成的日志时,请告别 SSH 吧.Filebeat 将为您提供一种轻量型方法,用于转发和汇…

什么是CI/CD 持续集成(Continous Intergration,CI)是一种软件开发实践,即团队开发成员经常集成它们的工作,通常每个成员每天至少集成一次,也就意味着每天可能会发生多次集成.每次集成都需要通过自动化的编译.发布.自动化回归测试来验证,从而尽快地发现集成错误.而这些自动化的操作则由CI软件进行执行. 持续部署(Continous Delivery,CD)在持续集成的基础上,将集成后的代码部署到真实运行环境中(本文指部署到kubernetes集群).交付团队 ->版本控制 -…

使用 Jenkins 搭建 CI/CD All In One https://ci.jenkins.io/ https://www.jenkins.io/zh/ jobs pipelines refs Java https://github.com/jenkinsci https://github.com/jenkinsci/jenkins xgqfrms 2012-2020 www.cnblogs.com 发布文章使用:只允许注册用户才可以访问!…

CI/CD 它的意思是 持续集成/持续部署,这也不是新概念.那些八股文就不写了,说话的方式简单点:如果成功搭建CI/CD环境,当你需要迭代线上程序时,只需通过git提交代码就可以,其他什么都不用做.是不是很爽?这样你就拥有了快速迭代的能力,微服务大环境下,这也是必要的. 准备工作 1.准备一个.NET6项目: 2.准备一个gitee仓库 3.准备一台服务器(非必要) 安装Jenkins 首先在docker中运行这段代码(代码来自官网): docker run \ -u root \ --rm \…