背景: 服务器A 向 服务器B 迁移数据,修改配置重启.发现gitlab的 nginx 无法启动. 查找原因 gitlab-ctl tail 错误信息: 网上查了查,似乎是宝塔的问题, 原因应该是为了防止nginx冲突, 把gitlab的nginx启动文件名改成了gitlab-web, 但有个配置文件没改造成的 解决办法: 修改nginx启动文件 vi /opt/gitlab/sv/nginx/run 把 exec chpst -P /opt/gitlab/embedded/sbin/nginx…
就在1小时前,处理了件如标题所述的麻烦事儿.吃完午饭,想对此作个总结,一来自己梳理下过程以便后面遇见类似的事可以 快速处理,二来同行的小伙伴们可以探讨下.故事是这样的,公司所在园区物业晚上断电8小时,导致公司服务器异常关机,系统崩了.一般情况下,不管是服务器还是PC机,很少出现异常关机,系统就崩溃的情况,然而,就这么巧的被我给撞到了!!头痛的是,里面正运行着公司的上线产品后台程序!用户管理方开始多番催促,公司领导严厉交代立即解决!不废话了,描述下解决过程. 由于异常关机导致系统崩溃,检查后发现系…
由于gitlab是默认安装的,随着公司代码越来越多,导致gitlab数据目录空间不足,出现无法访问gitlab了. 磁盘空间: /home有1.8T的空间一直没用上! 现在打算将原有代码目录迁移到新目录 gitlab代码数据默认目录:/var/opt/gitlab/git-data/repositories 在home目录下新建gitlab-data目录mkdir /home/gitlab-data/ 操作步骤: 1.停止相关数据连接服务 gitlab-ctl stop unicorn gitl…
需求:想把服务器上的gitlab迁移到docker容器里面注意:gitlab的迁移,必须保持gitlab的版本一致,此处使用的是:8.4.3,数据库版本和类型一致,此处使用的是postgresql 9.5 原来服务器的版本信息:系统:centos 7.2 gitlab:8.4.3 postgresql:9.5 redis 基础:docker的安装yum install docker -yservice docker restart 由于docker去拉取国外的镜像,速度超级慢,严重影响实现的时间…
目录 1. 接着上一篇 2. 思路 3. 下载Sentinel源码 4. 看Gateway里面读取的配置信息 5. 修改Sentinel控制台源码 6. 熔断规则测试 7. 限流规则测试 8. 打包使用 1. 接着上一篇 简单创建一个SpringCloud2021.0.3项目(四) 讲到了Sentinel从Nacos拿配置 2. 思路 搜了很多教程,有不用改源码的也有要修改源码.自测不用修改源码方式还是不行,修改源码方式,可能版本不一样导致修改失效. 找到官方的解答,Sentinel 控制台(集…
关闭防火墙 (不然外链接是访问不了 apache) service iptables stop 关闭安全系统 SELinux( 不然报403 访问页面错误 ) 1.Nginx安装主要在于配置文件的修改,关联 Nginx与 PHP .其次是注意要把项目的属组改为nginx用户www:www. [root@www local]# cat /usr/local/nginx/conf/nginx.conf user www www;worker_processes 2; #设置值和CPU核心数一致err…
需求: A : 待迁移服务器,上边存有数据 B:接收项目得服务器,本身存在数据 验证方案: 一,搭建gitlab8.15.2 OS:rhel7.4 yum install policycoreutils-python.x86_64 wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.15.2-ce.0.el7.x86_64.rpm chmod 777 gitlab-ce-8.15.2-ce.0.el7.x…
刚到公司没多久,目前公司有两个项目公用一个nexus的maven私服,现在想把两个私服的jar包拆分开: 我在原私服的nexus服务器中, 1.备份原nexus使用命令 完成tar包的压缩 打包完毕后,会生成一个nexus-2018-0801.tar.gz 的文件,文件越多,越大,压缩就越慢. 2.将已经完成tar包,拷贝到新的服务器地址: 登录新服务器,进入想要迁移的目录,注意tar的大小和硬盘的大小 使用命令scp拷贝: 3.在新服务器中解压tar包,如下 解压完成后.确认目录下的配置文件…
关键字:SQL Server NEWID():BSON:MongoDB UUID 1.遇到的问题和困惑 SQL Server中的NEWID数据存储到MongoDB中会是什么样子呢?发现不能简单的通过此数据查询了. 例如我们将SQL Server 数据库中的QQStatements2019表迁移至MongoDB 中,集合命名也为QQStatements2019. 在SQL Server中选择4个OrderId,数据作为演示实例,查看如下: 经过程序转换后,在mongodb的客户端工具nosqlbo…
用laravel踩到一个大坑... 需要使用laravel的队列(queue)功能, 设置 ".env"配置文件 QUEUE_DRIVER=database 按照文档,建立jobs数据表,生成任务类,在controller中将任务推送(dispatch)到队列中. 问题来了,jobs表并未生成队列任务数据... 折腾了一天,查文档,升级php,甚至看了一些源码,就是找不到原因! 最后,看源码输出的过程中发现配置没有变化,怎么改 QUEUE_DRIVER 都是 sync... 原来 la…
nginx增加了新的server name配置,发现nginx -s reload之后总是不生效. http和https均可以打开页面,但是页面是别的server页面,使用的证书也是别的server的证书. 新加的配置文件如下 server { listen 80; server_name img31.test.com; access_log /home/test/logs/accesslog/img31.test.com/img31.test.com_access.log main; loca…
最近用VIM 查看一个 WINDOWS下的文本,打开以后发现出现乱码,具体如上图. 最后在网上找到了一个解决方法: 原文地址: https://www.zhihu.com/question/22363620 ~/.vimrc  内容如下: ,gb2312,gb18030,gbk,ucs-bom,cp936,latin1 set enc=utf8 set fencs=utf8,gbk,gb2312,gb1803 再次打开源文件,内容如下: 可见, vim 打开文件后乱码现象已经消失.…
最近在做修改字符集的实验,悲剧的是修改后重启,数据库启动不了. SQL> alter system set nls_language='AMERICAN'   scope = spfile; SQL> alter system set nls_territory='AMERICAN'  scope=spfile; SQL> shutdown immediate; SQL> startup ORA-12700: invalid NLS parameter value (nls_ter…
项目案例之GitLab的数据迁移 链接:https://pan.baidu.com/s/1CgaEv12cwfbs5RxcNpxdAg 提取码:fytm 复制这段内容后打开百度网盘手机App,操作更方便哦 5.项目案例一:生产环境SVN数据迁移到测试环境GitLab 主机名 IP地址 备份 特殊要求 Git01 192.168.200.52 Git客户端 无 Git02 192.168.200.53 GitLab服务器01 内存2G SVN 192.168.200.57 SVN服务器 无 5.1…
gitlab 服务器在修改了IP地址之后,面对需要修改配置的问题,否则每个项目的 git网址显示是老IP.从网上搜索了不少修改教程,发现基本都是修改 /opt/gitlab/embedded/service/gitlab-rails/config/gitlab.yml 之后,再修改/etc/gitlab/gitlab.rb 中的 external_url 'http://gitlab' 配置项. 修改完成后执行: gitlab-ctl reconfigure 这样执行之后,我的gitlab服务网…
使用数据传输DTS可以实现两个RDS实例间的数据迁移.对于支持增量迁移的存储引擎,还可以使用DTS在源RDS实例不停服的情况下,将数据迁移到目标RDS实例.目前对于RDS不同存储引擎,只支持同构迁移(例如RDS For MySQL迁移到RDS For MySQL),不支持异构迁移(例如RDS For MySQL迁移到RDS For SQLServer). 本小节简单介绍使用DTS进行两个RDS实例之间的数据迁移的任务配置流程. 迁移权限要求 当使用DTS进行两个RDS实例间的数据迁移时,不同迁移…
目录 一.背景介绍 二.常见方案 1. 停机迁移 2. 业务双写 3. 增量迁移 三.Change Stream 介绍 监听的目标 变更事件 四.实现增量迁移 五.后续优化 小结 附参考文档 一.背景介绍 最近微服务架构火的不行,但本质上也只是风口上的一个热点词汇. 作为笔者的经验来说,想要应用一个新的架构需要带来的变革成本是非常高的. 尽管如此,目前还是有许多企业踏上了服务化改造的道路,这其中则免不了"旧改"的各种繁杂事. 所谓的"旧改",就是把现有的系统架构来一…
1:Docker安装,由于Docker后续pull镜像的服务器默认是在国外的,速度实在是太慢,这里使用阿里云的镜像 阿里云的Docker CE 镜像源站进行安装 docker ===========Ubuntu 14.04/16.04(使用 apt-get 进行安装)====== # step : 安装必要的一些系统工具 sudo apt-get update sudo apt-get -y install apt-transport-https ca-certificates curl sof…
一 .安装; 1  下载相应版本rpm包并安装 https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-10.0.0-ce.0.el7.x86_64.rpm yum -y install gitlab-ce-10.0.0-ce.0.el7.x86_64.rpm 2 更改仓库地址及访问 # cd /etc…
1   前言 首先承诺:对于从Windows系统迁移过来的用户,困扰大家的  “Linux系统下是否可以把系统文件和用户文件分开到C盘和D盘中” 的问题也可以得到完满解决. 之前的文章对Linux的文件系统有过粗略的介绍,但是了解文件系统结构后,有什么用途呢?在本章节将围绕 "基于用户角度的Linux下的数据备份和迁移" 的场景,对Linux文件系统相关知识进行实地应用,产生生产力 . 在了解Linux文件系统之后,就可以 艺高人胆大 玩转Linux的文件目录了. 本文案例 --- &…
作为一种数据存储层面上的水平伸缩解决方案,数据库Sharding技术由来已久,很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Sharding改造阶段.简单地说,Sharding就是将原来单一数据库按照一定的规则进行切分,把数据分散到多台物理机(我们称之为Shard)上存储,从而突破单机限制,使系统能以Scale-Out的方式应对不断上涨的海量数据,但是这种切分对上层应用来说是透明的,多个物理上分布的数据库在逻辑上依然是一个库.实现Sharding需要解决一系列关键的技术问题,这些问题主…
注:一开始没有考虑到把gitlab划分好存储目录,占用系统磁盘,由于gitlab是默认安装的,随着公司代码越来越多,导致gitlab数据目录空间不足 磁盘空间: [root@gitlab ~]# df -hT Filesystem Type Size Used Avail Use% Mounted on /dev/vda1 ext4 40G 25G 13G 67% / 注:因为使用的阿里云服务,所以考虑另挂载一块磁盘专用于gitlab存储.······ 云盘挂载,磁盘分区就直接略过. 设置存储仓…
作为一种数据存储层面上的水平伸缩解决方案,数据库Sharding技术由来已久,很多海量数据系统在其发展演进的历程中都曾经历过分库分表的Sharding改造阶段.简单地说,Sharding就是将原来单一数据库按照一定的规则进行切分,把数据分散到多台物理机(我们称之为Shard)上存储,从而突破单机限制,使系统能以Scale-Out的方式应对不断上涨的海量数据,但是这种切分对上层应用来说是透明的,多个物理上分布的数据库在逻辑上依然是一个库.实现Sharding需要解决一系列关键的技术问题,这些问题主…
这里我想讲清楚code first 数据迁移的两种模式,还有开发环境和生产环境数据迁移的最佳实践. 1.1 数据迁移综述 EF Code first 虽然已经有了几种不同的数据库初始化策略,但是大部分策略都会造成现有的数据丢失,所以如果我们想更新实体的结构,但是保留数据的话,EF提供了一个数据迁移的工具,它使用了新的数据库初始化策略叫做 MigrateDatabaseToLatestVersion,启用数据迁移之后,需要把数据库初始化策略修改为此策略. 一共有两种迁移模式: Automated…
一.Django项目的创建与介绍 ''' 安装Django #在cmd中输入pip3 #出现这个错误Fatal error in launcher: Unable to create process using '"' #可以直接用 python3 -m pip 代替 pip3 #这个问题是pip3 版本过低直接在cmd中执行 python3 -m pip install --upgrade pip 更新pip3 # 在指定解释器环境下安装django 1.11.9 # 在真实python3环境…
一前言 这是我的处女作,写的不好的地方还望指出共同讨论.EF的数据访问方式有三种DbFirst,ModelFirst,还有本文要提到的CodeFirst 三者都是以ORM的方式建立.本人之前学习的.net webform学的不能算精通但也还不错,不过在接触了.net mvc和一般处理程序之后才知道原来以前学的都是皮毛傻瓜式的拖控件,封装的极其好不需要知道任何原理和扩展.我想这也是为什么.net门槛底,java门槛相对高的原因.因为你并不需要知道什么是管道模型,事件响应过程,过滤器机制,线程和II…
背景 code first起初当修改model后,要持久化至数据库中时,总要把原数据库给删除掉再创建(DropCreateDatabaseIfModelChanges),此时就会产生一个问题,当我们的旧数据库中包含一些测试数据时,当持久化更新后,原数据将全部丢失,故我们可以引入EF的数据迁移功能来完成. 要求 已安装NuGet 过程示例 注:区别在于,我们给Movie新加了一个VipPrice属性. 接下来,我们将开始持久化此model至数据库中(我们现在对数据库表结构进行修改,增加一个VipP…
前言 在使用Jenkins做持续集成的初期,未能预估项目量的大小.于是乎,配置都是使用的默认配置,而Jenkins的默认主目录放在了服务器的根目录下. 随着时间的推移,项目量的持续增加,在运维过程中就出现了系统磁盘空间不足的问题. 解决方式有: a.对磁盘的根目录分区进行扩容: b.修改Jenkins的主目录,将其设置为空间较大的磁盘的分区下. 说明 a) 修改配置前,应先将Jenkins停止,此实验将默认目录/root/.jenkins改成/mnt/.jenkins: b) 此处实验Jenki…
一.服务器准备 目前有两台128G内存服务器,故准备每台启动两个es实例,再加一台虚机,共五个节点,保证down一台服务器两个节点数据不受影响. 二.系统初始化 参见我上一篇kafka系统初始化:https://www.cnblogs.com/mkxfs/p/12030331.html 三.安装elasticsearch7.5.0 1.因zookeeper和kafka需要java启动 首先安装jdk1.8环境 yum install java-1.8.0-openjdk-devel.x86_64…
文章目录 web开发django模型 1.创建app子应用 2.配置子应用 3.使用 4.配置子应用管理自已的路由 django数据库开发思维与ORM 1.创建数据库 2.配置数据库 3.安装pymysql 4.编写模型 字段类型 字段属性 5.数据迁移 数据迁移之前的准备工作 1.在数据迁移之前,确定配置是否完成 2.排错 执行数据迁移操作 查看数据库stu 修改表的默认名字 6.站点管理 web开发django模型 在django开发中,要求我们使用app进行数据库的开发 在一个web项目中…