前言:一直以来想学习与实践一下敏捷开发,之前项目虽说口口声声我们项目是敏捷开发,其实很扯. 敏捷开发如果有持续集成.持续部署的支持,那样开发.测试.运维将节省不少精力. 此系列博客只为记录CI/CD的实践与学习: 一.PHP运行环境的准备(centos7.4下安装docker环境搭建 PHP7.1 + MySQL5.7环境,openresty1.13.6.1做代理服务器) 服务器环境:阿里云ECS 操作系统:centos7.4 1. 安装docker https://help.aliyun.co

目录 UI 界面 Portal 服务 admin 服务 总结 1. UI 界面 2. Portal 服务 当我们点击上面的发布按钮的时候,调用的当然是 portal 的接口.具体代码如下: /** * 全量发布 * @param appId SampleApp * @param env DEV * @param clusterName default * @param namespaceName application * @param branchName 分支/灰度名称 * @param d

上一节我们实现了索引基本操作的类以及索引缓存工具类,本小节我们开始实现加载全量索引数据,在加载全量索引数据之前,我们需要先将数据库中的表数据导出到一份文件中.Let's code. 1.首先定义一个常量类,用来存储导出文件存储的目录和文件名称 因为我们导出的文件需要在搜索服务中使用到,因此,我们将文件名 & 目录以及导出对象的信息编写在mscx-ad-commom项目中. public class FileConstant { public static final String DATA_RO

首先请允许我这样说,作为开发或测试,你一定要具备这种 本领.你可以手动打包.部署你的工程,但这不是最好的方法.最好的方式就是全自动化的方式.开发人员提交了代码后,可以自动构建.打包.部署到测试环境. 测试通过后进入到模拟环境或是直接发布的生产环境,这个过程可以是全自动的.但这个自动化的方式有一些公司用到了,但也有很多公司还不知道,他们的攻城师 天天在做反复.没有多大意义的.浪费生命的事情.当然这种方式一般针对做自己的产品,如电商.通信行业.而给其他公司或企业做项目的比较少利用这种方式, 当然也可

引文:我们公司是做自己使用产品,迭代更新周期短,每次都花费较多时间和精力打包做增量更新,发现了一篇文章用于 自动构建svn增量/全量 系统程序升级包,收藏之,希望可以通过学习,更加简化我们的工作. 文章转自[http://www.cnblogs.com/hoojo/p/ant_increment_svn_diff_diffSummarize.html] 首 先请允许我这样说,作为开发或测试,你一定要具备这种本领.你可以手动打包.部署你的工程,但这不是最好的方法.最好的方式就是全自动化的方式.开发

Elasticsearch 索引的全量/增量更新 当你的es 索引数据从mysql 全量导入之后,如何根据其他客户端改变索引数据源带来的变动来更新 es 索引数据呢. 首先用 Python 全量生成 Elasticsearch 和 ik 初始的分词索引数据,增量更新索引实现如下: 服务端(Python+redis-sub)# Python-redis 开启监听 'leon' 等待客户端推送消息,来增量更新es文档 #-*- coding:utf8 -*-import sysimport redi

腾讯的业务体量非常庞大,在2019年,腾讯已拥有超过了100万台服务器,其中,社交业务包括QQ和空间的体量有近20万台服务器,且分布在全国三地. 把QQ这头大象搬到云上并非易事.作为腾讯最庞大.最悠久.最复杂的业务之一,QQ各系统间存在强耦合.上云过程中需要确保对用户零影响,其难度可想而知. 面对重重挑战,QQ是如何迎难而上的呢?本文即将从整体规划.方案执行.里程碑中的挑战等方面介绍其中的技术细节,希望能为大家提供借鉴. 一.整体规划 1.上云整体规划 QQ上云规划时进行了系统化的梳理,包括业务

日志套餐篇 - log4j2 logback全量套餐 前情提要: Log4j Log4j2 logback是当下主流的日志框架 slf4j则是新一代的日志框架接口,logback直接实现了slf4j接口,另外logback是SpringBoot最新的默认日志框架 综合来看性能上依然推荐:log4j2(拥有logback全部特性) **注:**鉴于log4j已经跟不上时代的要求,因此不做特别的介绍,其实log4j的配置,完全可以在log4j2上使用 普通工程 - 建议集成log4j2 普通工程即:

腾讯会议,一款联合国都Pick的线上会议解决方案,提供完美会议品质和灵活协作空间,广泛应用在政府.医疗.教育.企业等各个行业.大家从文章8天扩容100万核,腾讯会议是如何做到的?都知道腾讯会议背后的计算资源已过百万核,如此体量的业务,如何通过云原生技术提升研发和运维效率,是一个非常有价值的课题.这里我将为大家揭秘腾讯自研上云容器平台TKEx在支持腾讯会议全量云原生化上云背后的技术. TKEx平台是以腾讯云容器服务(Tencent Kubernetes Engine, TKE)为底座,服务于腾讯自

[直播]APP全量混淆和瘦身技术揭秘 近些年来移动APP数量呈现爆炸式的增长,黑产也从原来的PC端转移到了移动端,通过逆向手段造成数据泄漏.源码被盗.APP被山寨.破解后注入病毒或广告现象让用户苦不堪言. 为了解决安卓APP容易被逆向的问题,除了对产品进行加固处理,代码混淆技术是对抗逆向攻击最有效的方式之一.本直播会分享阿里聚安全带来的APP全量混淆技术.此外越来越多的新特性正在啃蚀着大型APP的用户体验,APP瘦身减肥也成了亟待解决的问题,如何能在使用安全功能同时瘦身,也将是本期主题所带来的内

Mysql最常用的三种备份工具分别是mysqldump.Xtrabackup(innobackupex工具).lvm-snapshot快照.前面分别介绍了:Mysql备份系列(1)--备份方案总结性梳理Mysql备份系列(2)--mysqldump备份(全量+增量)方案操作记录Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录 lvm-snapshot:基于LVM快照的备份1.关于快照:1)事务日志跟数据文件必须在同一个卷上:2)刚刚创立的快照卷,里面

我想说,我折腾了很久编辑器,试了九种办法 最后我只成功了一种 但我依然想就我混乱的逻辑做下整理 一.一开始,我试图入手ipad编码软件,大概9美金吧,叫Textastic.我试图用它的近亲来试验Textastic Mac Trial看看能否代码补全. 我安装了golang.tmbundle. 语法高亮和snips是有的.可惜没有补全. 二.我想,听说TextMate是Textastic Mac Trial的近亲,何不试试TextMate?于是下载安装 mkdir -p ~/Library/App

vim代码补全 现在的图形界面的IDE(Integrated Development Environment)一般具有语法高亮,语法检查,自动补全功能,大大提高了编程的效率. vim作为文本编辑器其强大的编辑能力很大部分来自于普通模式命令,用户使用这些命令可以快速的在文档中移动.定位.查找.替换删除.而不用使用鼠标去完成这些操作.vim另一个强大之处是支持各种插件安装,用户可以根据功能需求和习惯安装需要的插件.本文将介绍两个非常强大的开源vim插件使得vim具有IDE一样的功能,提高使用vim编

http://pkg.phpcomposer.com/ http://www.yiichina.com/doc/guide/2.0/intro-upgrade-from-v1 https://getcomposer.org/doc/01-basic-usage.md Packagist 镜像 请各位使用本镜像的同学注意: 本镜像已经依照 composer 官方的数据源安全策略完全升级并支持 https 协议!请各位同学 按照下面所示的两个方法将 http://packagist.phpcompo

在网上找了很多关于爬取百度POI的文章,但是对“全量”的做法并没有得到最终的解决方案,自己写了一个,但还是不能实现全量POI抓取,能够达到至少50%的信息抓取.注意:这里所指“全量”是能够达到100%的POI信息获取.以下是自己写的代码可直接复制粘贴使用,只针对重庆主城区的. # -*- coding: utf-8 -*-#-----------------采集全重庆范围内的POI兴趣点-------------------import requestsimport jsonimport xlr

redis命令列表中有两种方法可以全量导出所有的key: (1)keys 由于redis是单线程的,使用keys会导致redis服务阻塞,不建议线上服务采用这种方式. (2)scan 命令,下面是使用scan命令实现导出全量key的代码,每次扫1000个key,结果存放到指定的文件中 function redisScan($host, $port, $write_file = '/Users/admin/Documents/work/redis_test.txt') { $file_handle

目标: 1.传入3个参数:源文件路径,目标文件路径,md5文件 2.每周一实现全量备份,其余时间增量备份 1.通过传入的路径,获取该路径下面的所有目录和文件(递归) 方法一:使用os.listdir 代码如下: #!/usr/bin/env python #coding:utf8 import os,sys def lsdir(folder): contents = os.listdir(folder) print "%s\n%s\n" % (folder, contents) for

配置中国全量镜像 查看当前composer配置的镜像地址 composer config -g repo.packagist 显示如下,显示说明没有配置镜像地址 接下来我使用下面的命令进行查看配置的镜像地址: composer config -gl 显示如下: 配置镜像方式有两种: 1.单个项目配置,在项目根目录下执行以下命令行,确认根目录下面存在composer.json文件,执行命令行之后,再打开composer.json文件会发现多了一段含有repositories属性的json代码. 再

全量备份: # vim /root/DBFullyBak.sh //添加以下内容 #!/bin/bash # Program # use mysqldump to Fully backup mysql data per week! # History # 2013-04-27 guo first # Path # 全备份:/home/mysql/backup # 增量备份目录:/home/mysql/backup/daily BakDir=/home/mysql/backup Date=`dat

粗略介绍冷备,热备,温暖,及Mysqldump,mysqlpump,xtrabackup,innobackupex 全量,增量备份 --备份的目的 灾难恢复:意外情况下(如服务器宕机.磁盘损坏等)对损坏的数据进行恢复和还原保证数据不丢失,最小程度地丢失需求改变:因需求改变而需要把数据还原到改变以前测试:测试新功能是否可用 --备份与恢复概述 根据备份的方法可以分为: 1.Hot Backup(热备) 2.Cold Backup(冷备) 3.Warm Backup(温备) Hot Backup是指

1.全量备份 [root@localhost lib]##innobackupex --defaults-file=$defaults_file --user=$mysql_username --password=$mysql_password --stream=tar $mysql_backup_dir | gzip - > $timeStart.bz.tar.gz 2> "$logfile" 备份目录/var/lib/mysqlsource, 如果下面要恢复,解压bz文